[논문 리뷰] Competitive Multi-scale Convolution

Zhibin Liao, Gustavo Carneiro|arXiv (Cornell University)|2015. 11. 18.

Advanced Neural Network Applications참고 문헌 29인용 수 40

한 줄 요약

이 논문은 Inception 모듈에서 다중 스케일 필터의 연결을 maxout 기반의 경쟁적 풀링 유닛으로 대체하는 경쟁적 다중 스케일 컨볼루션 모듈을 제안한다. 이는 공존적 적응을 감소시키고 차원을 축소시키며 하위 네트워크의 전문화를 가능하게 한다. 이 방법은 다중 스케일 필터 간의 결정적 경쟁을 통해 강건하고 정규화된 학습을 촉진함으로써 MNIST, CIFAR-10, CIFAR-100, SVHN에서 최신 기준 또는 경쟁 가능한 성능을 달성한다.

ABSTRACT

In this paper, we introduce a new deep convolutional neural network (ConvNet) module that promotes competition among a set of multi-scale convolutional filters. This new module is inspired by the inception module, where we replace the original collaborative pooling stage (consisting of a concatenation of the multi-scale filter outputs) by a competitive pooling represented by a maxout activation unit. This extension has the following two objectives: 1) the selection of the maximum response among the multi-scale filters prevents filter co-adaptation and allows the formation of multiple sub-networks within the same model, which has been shown to facilitate the training of complex learning problems; and 2) the maxout unit reduces the dimensionality of the outputs from the multi-scale filters. We show that the use of our proposed module in typical deep ConvNets produces classification results that are either better than or comparable to the state of the art on the following benchmark datasets: MNIST, CIFAR-10, CIFAR-100 and SVHN.

연구 동기 및 목표

• 다중 스케일 컨볼루션 필터 간의 공존적 적응 문제를 해결하기 위해 경쟁 메커니즘을 도입함으로써 딥 컨볼루션 네트워크의 성능을 향상시키는 것.
• 경쟁적 활성화를 통한 하위 네트워크 전문화를 통해 모델의 일반화 능력과 학습 효율성을 향상시키는 것.
• 연결을 maxout 기반 차원 축소로 대체함으로써 모델 파라미터 수를 감소시키는 것.
• 경쟁적이고 다중 스케일인 컨볼루션 모듈을 사용하여 표준 비전 벤치마크 데이터셋(MNIST, CIFAR-10, CIFAR-100, SVHN)에서 성능을 향상시키는 것.
• 결정적 마스킹이 컨볼루션 레이어에서 스트로스틱 방법보다 효과적인지 검증하는 것.

제안 방법

• 제안된 모듈은 입력 특징 맵에 대해 병렬로 다중 스케일 컨볼루션 필터를 적용한다.
• 각 필터 출력은 배치 정규화 유닛(BNUs)을 사용해 정규화되어 스케일을 균형 잡고 모델의 조건을 개선한다.
• 정규화된 출력은 모든 스케일 간 최대 활성화를 선택하는 maxout 유닛에 입력되며, 이는 경쟁을 강제한다.
• 이 경쟁적 풀링은 출력 차원을 축소시키고, 가장 반응성이 높은 필터만 선별함으로써 공존적 적응을 방지한다.
• 이 모듈은 표준 딥 컨볼루션 네트워크 아키텍처에 통합되며, 기존의 표준 Inception 모듈을 대체한다.
• 이 방법은 컨볼루션 레이어에서 스트로스틱 드롭아웃 또는 DropConnect를 피하기 위해 결정적 마스킹을 maxout를 통해 구현한다.

실험 결과

연구 질문

• RQ1 다중 스케일 컨볼루션 모듈에서 연결을 경쟁적 풀링으로 대체하면 일반화 능력 향상과 공존적 적응 감소에 기여하는가?
• RQ2 다중 스케일 필터에 maxout를 사용할 경우 기존 Inception 모듈보다 성능 향상이 이루어지는가?
• RQ3 컨볼루션 레이어에서 결정적 경쟁이 스트로스틱 정규화(예: DropConnect)보다 나은가?
• RQ4 제안된 모듈이 표준 비전 벤치마크에서 최신 기준 성능을 달성할 수 있는가?
• RQ5 경쟁적 모듈의 필터 크기나 수를 늘리면 정확도 향상이 이루어지거나 파라미터 수 증가에 비해 성능 향상이 없어지는가?

주요 결과

• 경쟁적 다중 스케일 컨볼루션 모듈은 MNIST에서 테스트 오차 0.29%를 기록하여 기존 최고 성능를 초월한다.
• CIFAR-10에서 이 방법은 1.69%의 테스트 오차를 기록하여 테스트된 모든 방법 중 최고 성능이다.
• SVHN에서 이 방법은 1.69%의 테스트 오차를 기록하여 최신 기준 성능를 일치하거나 초월한다.
• maxout 기반 차원 축소를 통해 모델의 파라미터 수를 감소시키면서도 정확도를 유지하거나 향상시킨다.
• 실험 결과 결정적 마스킹을 통한 maxout가 컨볼루션 레이어에서 스트로스틱 방법(예: DropConnect)보다 뛰어난 성능을 보이며 치명적인 기억 상실을 방지한다.
• 필터 크기나 수를 늘리면 성능 향상이 없고 파라미터 수만 증가하므로, 제안된 아키텍처의 효율성을 확인한다.