[논문 리뷰] AutoShuffleNet: Learning Permutation Matrices via an Exact Lipschitz Continuous Penalty in Deep Convolutional Neural Networks

Jiancheng Lyu, Shuai Zhang외 2명|arXiv (Cornell University)|2019. 01. 24.

Advanced Neural Network Applications참고 문헌 20인용 수 9

한 줄 요약

이 논문은 ShuffleNet과 같은 경량 CNN에서 채널 섞기의 최적 순열 행렬을 학습하기 위해 행렬 ℓ₁₋₂ 노름에 기반한 정확한 리프시츠 연속 비볼록 페널티를 통합함으로써 AutoShuffleNet을 제안한다. 이 페널티는 SGD를 통한 엔드 투 엔드 학습을 가능하게 하며, 학습 후 반올림을 통해 정확한 순열을 복원한다. 이로 인해 CIFAR-10과 ImageNet에서 일관된 정확도 향상을 달성했으며, 이완된 섞기 방식에 비해 근소한 정확도 손실을 보였다.

ABSTRACT

ShuffleNet is a state-of-the-art light weight convolutional neural network architecture. Its basic operations include group, channel-wise convolution and channel shuffling. However, channel shuffling is manually designed empirically. Mathematically, shuffling is a multiplication by a permutation matrix. In this paper, we propose to automate channel shuffling by learning permutation matrices in network training. We introduce an exact Lipschitz continuous non-convex penalty so that it can be incorporated in the stochastic gradient descent to approximate permutation at high precision. Exact permutations are obtained by simple rounding at the end of training and are used in inference. The resulting network, referred to as AutoShuffleNet, achieved improved classification accuracies on CIFAR-10 and ImageNet data sets. In addition, we found experimentally that the standard convex relaxation of permutation matrices into stochastic matrices leads to poor performance. We prove theoretically the exactness (error bounds) in recovering permutation matrices when our penalty function is zero (very small). We present examples of permutation optimization through graph matching and two-layer neural network models where the loss functions are calculated in closed analytical form. In the examples, convex relaxation failed to capture permutations whereas our penalty succeeded.

연구 동기 및 목표

• 수동으로 설계된 고정된 순열 대신 학습 과정에서 순열 행렬을 학습함으로써 경량 CNN에서 채널 섞기를 자동화하는 것.
• 연속적인 SGD 기반 학습 프레임워크 내에서 이산적 순열 행렬을 최적화하는 데 도전하는 것.
• 정확하고 리프시츠 연속인 비볼록 리프레젠테이션을 개발함으로써 기울기 기반 최적화를 가능하게 하는 순열 행렬의 비볼록 근사화 방법.
• 이중 스트로크 행렬과 같은 볼록 근사화가 딥러닝 환경에서 유용한 순열을 포착하지 못함을 보여주는 것.
• 제안된 페널티를 통한 학습된 순열이 분류 정확도 측면에서 수작업으로 설계된 섞기 방식을 능가함을 보여주는 것.

제안 방법

• 모든 행과 열에 대해 ℓ₁₋₂ 노름의 합으로 정의된 행렬 ℓ₁₋₂ 페널티 함수를 도입하여 순열 행렬의 비볼록 근사화를 수행한다.
• 가능성과 리프시츠 연속성을 보장하기 위해 최적화를 Birkhoff 다면체(이중 스트로크 행렬)로 제약한다.
• 하이퍼파rameter λ를 사용해 손실 함수에 페널티를 통합함으로써 SGD를 통한 엔드 투 엔드 백프로파게이션을 가능하게 한다.
• 이중 단계 학습 프로세스를 사용한다: 먼저 이완된 행렬로 학습한 후, 임계값 설정과 행렬 스케일링을 적용해 최종 행렬을 반올림을 통해 순열로 투영한다.
• Group convolution에서의 채널 섞기용으로 ShuffleNet 아키텍처에 이 방법을 적용한다.
• 작은 규모 문제에서 순열 최적화를 위한 해석적 폐형 해를 사용하여 방법의 효과성을 검증한다.

실험 결과

연구 질문

• RQ1 기울기 기반 최적화를 통해 경량 CNN의 채널 섞기용 순열 행렬을 학습하는 것이 효과적인가?
• RQ2 행렬 ℓ₁₋₂ 노름에 기반한 비볼록 정확한 페널티 함수가 이중 스트로크 행렬과 같은 볼록 근사화보다 딥러닝 환경에서 우수한 성능을 내는가?
• RQ3 제안된 페널티 함수가 리프시츠 연속성을 유지하면서 SGD에 통합될 수 있는가?
• RQ4 이완된 행렬을 정확한 순열로 반올림하는 것이 실세계 모델의 추론 정확도에 어떤 영향을 미치는가?
• RQ5 표준 벤치마크에서 학습된 순열 행렬이 수작업으로 설계된 섞기 방식과 비교해 분류 성능 측면에서 어떻게 다른가?

주요 결과

• AutoShuffleNet은 CIFAR-10과 ImageNet 데이터셋에서 수작업으로 설계된 섞기 방식보다 일관된 정확도 향상을 달성했으며, ShuffleNet v2 (1.5×) 기준으로 각각 최대 0.48%의 정확도 향상을 기록했다.
• 이완된 섞기에서 정확한 순열로의 반올림으로 인한 상대 오차는 근소했으며, CIFAR-10 기준으로 최소 -1.07×10⁻³, ImageNet 기준으로 최소 -2.83×10⁻⁵ 수준이었다.
• CIFAR-10에서 AutoShuffleNet의 검증 정확도는 이완된 섞기 정확도와 0.000215% 이내로 매우 유사했으며, 반올림 후 정확도 손실이 거의 없음을 시사했다.
• 학습 과정에서 ℓ₁₋₂ 페널티 값이 크게 감소했으며, λ=10⁻³일 때 5.07×10⁻² 수준까지 도달하여 순열 행렬로의 수렴을 보였다.
• 이중 스트로크 행렬로의 볼록 근사화는 반올림 후에도 성능이 열악하여 유용한 순열을 생성하지 못했으며, 반면 제안된 방법은 성공적으로 성능을 달성했다.
• 2층 신경망 회귀 과제에서 제안된 방법은 최적의 순열을 찾았고, 반면 볼록 근사화와 반올림을 사용한 방법은 실패했다.