[논문 리뷰] Understanding and Improving Convolutional Neural Networks via Concatenated Rectified Linear Units

Wenling Shang, Kihyuk Sohn외 2명|arXiv (Cornell University)|2016. 03. 16.

Advanced Neural Network Applications참고 문헌 30인용 수 237

한 줄 요약

이 논문은 Concatenated ReLU (CReLU)를 도입하여 양의 위상 정보와 음의 위상 정보를 모두 보존하는 활성화 함수의 재구성 성질을 분석하고, CIFAR-10/100 및 ImageNet에서 다양한 CNN 아키텍처에 통합했을 때 성능 향상과 매개변수 효율성을 보여준다.

ABSTRACT

Recently, convolutional neural networks (CNNs) have been used as a powerful tool to solve many problems of machine learning and computer vision. In this paper, we aim to provide insight on the property of convolutional neural networks, as well as a generic method to improve the performance of many CNN architectures. Specifically, we first examine existing CNN models and observe an intriguing property that the filters in the lower layers form pairs (i.e., filters with opposite phase). Inspired by our observation, we propose a novel, simple yet effective activation scheme called concatenated ReLU (CRelu) and theoretically analyze its reconstruction property in CNNs. We integrate CRelu into several state-of-the-art CNN architectures and demonstrate improvement in their recognition performance on CIFAR-10/100 and ImageNet datasets with fewer trainable parameters. Our results suggest that better understanding of the properties of CNNs can lead to significant performance improvement with a simple modification.

연구 동기 및 목표

• Lower convolutional layers에서 CNN의 고유 특성이 중복성을 시사하는지 식별한다.
• 양의 정보와 음의 정보를 모두 보존하는 간단한 활성화 함수(CReLU)를 제안한다.
• CReLU를 적용한 CNN의 재구성 특성을 이론적으로 분석한다.
• CIFAR-10/100 및 ImageNet에서 표준 아키텍처 전반에 걸쳐 성능 향상과 매개변수 효율성을 Demonstrate한다.

제안 방법

• 초기 CNN 층에서 필터 쌍을 관찰하고 대 противоп Phase 쌍을 주목한다.
• Concatenated ReLU (CReLU)를 [ReLU(x), ReLU(-x)]로 정의한다.
• CReLU를 따른 합성 계층의 재구성 능력을 이론적으로 특성화한다(풀링 유무에 따라).
• CReLU를 기존 아키텍처에 통합(ReLU 교체)하고 CIFAR-10/100 및 ImageNet에서 AVR과 비교한다.
• 실험적 지표와 간단한 재구성을 통해 규제화 및 불변성 특성을 평가한다.

실험 결과

연구 질문

• RQ1 하위 레이어의 CNN 필터가 반대 위상 쌍을 형성하여 ReLU 하에서 중복성을 시사하는가?
• RQ2 양의 위상 정보와 음의 위상 정보를 모두 보존하는 활성화(CReLU)가 성능을 개선하고 매개변수를 줄일 수 있는가?
• RQ3 CReLU가 적용된 CNN의 재구성 능력은 무엇이며 그것이 특징 표현력에 어떤 영향을 미치는가?
• RQ4 실무에서 CReLU가 규제화 및 불변 특징 학습에 미치는 영향은 어떠한가?
• RQ5 ImageNet과 같은 대규모 데이터셋에서 서로 다른 네트워크 깊이에 CReLU를 적용했을 때의 영향은 어떻게 나타나는가?

주요 결과

• CReLU 통합은 ReLU에 비해 CIFAR-10/100 및 ImageNet에서 인식 성능이 향상되며 매개변수 수가 감소하거나 유사한 수준으로 유지된다.
• ReLU 네트에서 하위 레이어의 필터는 음의 위상 쌍을 보이며, CReLU는 두 위상을 모두 보존하여 쌍을 만들 필요가 없고 ImageNet에서는 CReLU를 사용할 때 쌍이 관찰되지 않는다.
• 일부 구성에서 CReLU는 파라미터의 거의 절반 정도로 비슷하거나 더 나은 정확도를 달성할 수 있으며, 특히 심층 신경망의 초기 층에 적용될 때 두드러진다.
• 단일 CReLU 계층이 입력의 범위에서 재구성에 충분한 정보를 보존한다는 이론적 결과가 제시되어 표현력을 뒷받침한다.
• CReLU 모델은 데이터셋 전반에서 불변성 점수가 더 높아 보다 강건한 표현을 시사한다.
• 재구성 실험은 CReLU가 의미 있는 특징 역전을 가능하게 하여 제안된 재구성 특성과 일치한다.