[논문 리뷰] Cross-Iteration Batch Normalization

Zhuliang Yao, Yue Cao외 3명|arXiv (Cornell University)|2020. 02. 13.

Advanced Neural Network Applications참고 문헌 27인용 수 16

한 줄 요약

이 논문은 소규모 미니배치 환경에서 배치 정규화(BN)의 성능을 향상시키기 위해 이전 반복의 활성화 출력에서 유의미한 통계를 추정할 수 있도록 일阶 테일러 근사법을 사용해 가중치 변화를 보상하는 Cross-Iteration Batch Normalization(CBN)을 제안한다. CBN는 최소한의 계산 오버헤드로 SyncBN과 유사한 성능을 달성하며, ImageNet과 COCO에서 표준 BN 및 단순한 이전 반복 평균화 방법보다 뛰어난 성능을 보인다.

ABSTRACT

A well-known issue of Batch Normalization is its significantly reduced effectiveness in the case of small mini-batch sizes. When a mini-batch contains few examples, the statistics upon which the normalization is defined cannot be reliably estimated from it during a training iteration. To address this problem, we present Cross-Iteration Batch Normalization (CBN), in which examples from multiple recent iterations are jointly utilized to enhance estimation quality. A challenge of computing statistics over multiple iterations is that the network activations from different iterations are not comparable to each other due to changes in network weights. We thus compensate for the network weight changes via a proposed technique based on Taylor polynomials, so that the statistics can be accurately estimated and batch normalization can be effectively applied. On object detection and image classification with small mini-batch sizes, CBN is found to outperform the original batch normalization and a direct calculation of statistics over previous iterations without the proposed compensation technique. Code is available at https://github.com/Howal/Cross-iterationBatchNorm .

연구 동기 및 목표

• 소규모 미니배치 설정에서 통계 추정이 불안정해지는 것으로 잘 알려진 배치 정규화(BN)의 성능 저하 문제를 해결한다.
• 학습 중 가중치 갱신으로 인해 반복 간 활성화 출력의 분포가 다를 수 있는 문제를 해결한다.
• 동시에 여러 최근 반복의 예시를 활용하여 통계 추정의 정확도를 향상시키되, 동기화된 배치 처리를 필요로 하지 않는다.
• 빠른 추론 속도를 유지하면서 SyncBN와 동등하거나 이를 초월하는 성능을 달성하는 경량이고 효율적인 방법을 개발한다.
• 적절히 보정된 시간적 통계 집계가 저배치 환경에서 훈련을 안정화하는 데 효과적임을 입증한다.

제안 방법

• 현재 반복 뿐 아니라 최근 여러 반복의 활성화 출력을 기반으로 배치 통계를 계산하는 Cross-Iteration Batch Normalization(CBN)을 제안한다.
• 네트워크 가중치 변화로 인한 분포 이동을 일阶 테일러 다항식 전개를 통해 통계에 대해 가중치에 대한 함수로 보정한다.
• 통계의 가중치에 대한 미분을 이용해 현재 가중치에서 이전 활성화 출력의 평균과 분산을 근사한다.
• 이전 반복의 보정된 통계와 현재 반복의 통계를 평균하여 더 견고한 추정치를 만든다.
• 중복 계산을 방지하기 위해 이전 반복의 사전 계산된 통계를 활용하여 추론 오버헤드를 낮춘다.
• 이전 반복의 필요한 통계, 기울기 및 가중치 상태만 저장하여 효율적으로 구현한다.

실험 결과

연구 질문

• RQ1 네트워크 가중치가 반복 간 변화할 때, 이전 반복의 통계를 활용한 통계 추정이 소규모 미니배치 훈련에서 배치 정규화 성능 향상에 기여할 수 있는가?
• RQ2 다른 반복에서의 활성화 출력 간 분포 이동을 어떻게 교정하여 신뢰할 수 있는 통계 추정을 가능하게 할 수 있는가?
• RQ3 네트워크 가중치에 대한 통계의 일阶 테일러 근사는 실질적으로 가중치 변화를 충분히 보정할 수 있는가?
• RQ4 이미지 분류 및 객체 검출 작업에서 GN, SyncBN, BN과 같은 기존 정규화 기법과 비교해 CBN의 정확도와 효율성은 어떠한가?
• RQ5 CBN는 GPU 간 동기화를 요구하지 않으며 상당한 계산 비용을 들이지 않고도 SyncBN 수준의 성능을 달성할 수 있는가?

주요 결과

• CBN는 GPU당 배치 크기가 4인 ImageNet에서 70.0%의 정확도를 달성하여 표준 BN(65.1%)과 Naive CBN(66.8%)보다 뚜렷이 뛰어나다.
• 3회 반복 윈도우와 일阶 테일러 보정을 사용할 경우, Naive CBN보다 3.2% 향상되고 표준 BN보다 4.9% 향상된다.
• CBN는 다수의 GPU에서 대규모 동기화 배치를 사용하는 SyncBN과 유사한 성능을 ImageNet과 COCO 객체 검출 모두에서 달성한다.
• BN 대비 메모리 사용량은 7% 증가하고 FLOPs는 11% 높지만, 훈련 속도는 BN과 GN 수준이며 추론 속도는 BN과 동일하다.
• 이阶 테일러 보정은 일阶 보다 성능 향상이 없음을 확인하여, 일阶 근사는 효과적인 보정을 제공하는 데 충분하다는 것을 시사한다.
• 보정에 1개 이상의 레이어를 사용할 경우 정확도 향상가 없고 계산 비용만 증가하므로, 실무에서는 기본적으로 1레이어 보정을 사용한다.