[논문 리뷰] Convolution Aware Initialization

Armen Aghajanyan|arXiv (Cornell University)|2017. 02. 21.

Advanced Neural Network Applications참고 문헌 16인용 수 6

한 줄 요약

이 논문은 복소수 변환 도메인에서 직교 필터를 구성하여 주파수 도메인에서의 컨volution과 요소별 곱셈 간의 이중성을 활용하는 새로운 가중치 초기화 방법인 컨volution 어웨어 이니셜라이제이션(CAI)을 제안한다. 역 푸리에 변환을 적용함으로써 CAI는 CIFAR10에서 더 빠른 수렴, 더 높은 정확도, 그리고 최신 기술 수준(SOTA) 성능을 달성하며, 비전, NLP, 음성 작업 전반에 걸쳐 일관된 향상을 보인다.

ABSTRACT

Initialization of parameters in deep neural networks has been shown to have a big impact on the performance of the networks (Mishkin & Matas, 2015). The initialization scheme devised by He et al, allowed convolution activations to carry a constrained mean which allowed deep networks to be trained effectively (He et al., 2015a). Orthogonal initializations and more generally orthogonal matrices in standard recurrent networks have been proved to eradicate the vanishing and exploding gradient problem (Pascanu et al., 2012). Majority of current initialization schemes do not take fully into account the intrinsic structure of the convolution operator. Using the duality of the Fourier transform and the convolution operator, Convolution Aware Initialization builds orthogonal filters in the Fourier space, and using the inverse Fourier transform represents them in the standard space. With Convolution Aware Initialization we noticed not only higher accuracy and lower loss, but faster convergence. We achieve new state of the art on the CIFAR10 dataset, and achieve close to state of the art on various other tasks.

연구 동기 및 목표

• 기존 초기화 기법들이 컨볼루션 연산자의 내재적 구조를 고려하지 못하는 한계를 해결하기 위해.
• 푸리에 변환의 컨볼루션과의 이중성 관계를 활용하여 더 표현력 있고 안정적인 컨볼루션 필터를 설계하기 위해.
• 주파수 도메인에서 직교성을 강제함으로써 기울기 흐름과 특징 다양성을 향상시키는 초기화 방법을 개발하기 위해.
• 이면적 실험을 통해 비전, 자연어 처리(NLP), 음성 합성 등 다양한 딥 러닝 작업에서 CAI의 성능을 검증하기 위해.

제안 방법

• 컨볼루션 정리(convolution theorem)를 활용하여 컨볼루션 연산을 주파수 도메인에서 요소별 곱셈으로 변환한다.
• 기대 활성화 통계에서 유도된 대칭 행렬의 고유분해를 통해 주파수 도메인에서 직교 필터 기저를 구성한다.
• 역 푸리에 변환을 적용하여 직교 필터를 공간(기본) 도메인으로 다시 매핑하여 컨볼루션 레이어에서 사용한다.
• 역 변환 후 최종 필터 가중치의 크기를 조절하기 위해 스케일링 인자를 적용한다.
• 고유분해의 경계에서 유도된 전제 조건을 만족시켜 최종 필터의 평균을 0으로 유지한다.
• CAI와 함께 비컨볼루션 레이어(LSTM, 완전 연결 등)에도 직교 초기화를 적용하여 종단 간 학습을 수행한다.

실험 결과

연구 질문

• RQ1 주파수 도메인에서 직교성을 강제하는 것이 기존 표준 기법보다 컨볼루션 레이어의 초기화에 더 나은 성능을 낼 수 있는가?
• RQ2 CAI는 다양한 딥 러닝 작업에서 학습 동역학, 수렴 속도, 최종 모델 정확도에 어떤 영향을 미치는가?
• RQ3 스케일링 이전에 CAI가 생성하는 필터의 크기와 평균에 대한 이론적 경계는 무엇인가?
• RQ4 CAI는 CNN, RNN, WaveNet의 확장 컨볼루션을 포함한 다양한 아키텍처로 일반화되는가?
• RQ5 아키텍처 수정 없이도 CAI는 CIFAR10과 같은 표준 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성할 수 있는가?

주요 결과

• CAI는 기본적인 데이터 증강 기법을 사용하여 CIFAR10 데이터셋에서 94.5%의 새로운 최신 기술 수준(SOTA) 테스트 정확도를 달성했다.
• IMDB 영화 리뷰 데이터셋에서, CAI는 Embed-Conv-LSTM 아키텍처에서 91.40%의 정확도를 기록하여, 직교(90.31%), 일반(90.16%), 균일(89.78%) 초기화보다 뛰어난 성능을 보였다.
• WaveNet 음성 합성 작업에서, CAI는 카테고리 크로스엔트로피 손실 4.771을 기록하여, 직교(4.809), 글로로트(4.810), 일반(4.811) 기준선보다 유의미하게 낮았다.
• 모든 평가된 작업에서 CAI 네트워크는 모든 기준 초기화 기법보다 더 빠르게 수렴하여 향상된 학습 동역학을 보였다.
• 이론적 분석을 통해 CAI 필터의 크기가 유한한 경계 내에 있으며, 고유분해에 대한 특정 조건을 만족할 경우 평균을 0으로 강제할 수 있음을 확인했다.
• CAI는 비전, NLP, 음성 작업 전반에서 일관된 성능 향상을 보이며, 단일 아키텍처나 모odal리티를 초월한 광범위한 적용 가능성을 입증했다.