[논문 리뷰] How far can we go without convolution: Improving fully-connected networks

Zhouhan Lin, Roland Memisevic외 1명|arXiv (Cornell University)|2015. 11. 09.

Advanced Neural Network Applications참고 문헌 3인용 수 30

한 줄 요약

이 논문은 선형 버티컬 레이어와 편향이 없는 오토인코더를 사용한 비지도 사전 훈련을 통해 완전 연결 네트워크가 컨볼루션 레이어 없이도 높은 성능을 달성할 수 있음을 보여준다. 이러한 기법들은 기울기 흐름을 향상시키고 활성화의 희소성을 줄여주며, 데이터 증강을 적용한 경우 CIFAR-10에서 78.62%의 정확도를 달성한다. 이는 최신의 컨볼루션 네트워크에 비해 약 10% 뒤처지는 성능이다.

ABSTRACT

We propose ways to improve the performance of fully connected networks. We found that two approaches in particular have a strong effect on performance: linear bottleneck layers and unsupervised pre-training using autoencoders without hidden unit biases. We show how both approaches can be related to improving gradient flow and reducing sparsity in the network. We show that a fully connected network can yield approximately 70% classification accuracy on the permutation-invariant CIFAR-10 task, which is much higher than the current state-of-the-art. By adding deformations to the training data, the fully connected network achieves 78% accuracy, which is just 10% short of a decent convolutional network.

연구 동기 및 목표

• 완전 연결 네트워크가 가중치 공유나 컨볼루션에 의존하지 않고도 이미지 분류에서 높은 성능을 낼 수 있는지 조사하는 것.
• 깊이 있는 완전 연결 네트워크에서 기울기 흐름과 활성화 희소성 문제를 해결하는 것.
• 컨볼루션 아키텍처의 생물학적으로 타당하고 하드웨어 효율적인 대안을 탐색하는 것.
• 선형 버티컬 레이어와 편향이 없는 오토인코더 사전 훈련이 네트워크 성능에 미치는 영향을 평가하는 것.
• 희소성 문제를 최적화나 일반화 능력을 희생시키지 않고 효과적으로 관리할 수 있는지 확인하는 것.

제안 방법

• 고차원 ReLU 활성화 레이어 사이에 저차원 선형 변환인 선형 버티컬 레이어를 도입하여 기울기 흐름을 향상시키고 희소성을 줄이는 것.
• 숨은 유닛 편향이 없는 오토인코더를 사용한 비지도 사전 훈련을 적용하여 직교화된 가중치 초기화를 장려하고 학습을 안정화시키는 것.
• Z-LIN 아키텍처를 사용: 선형 버티컬 레이어(Z)와 ReLU 활성화 레이어(Lin)를 번갈아 배치하여 이러한 블록을 깊이 있는 스택으로 구성하는 것.
• 사전 훈련 동안 드롭아웃을 적용하고 미세조정을 수행하여 모델 정규화를 위한 백프로파게이션을 사용하는 것.
• 퍼미터리케이션 불변성을 깨뜨리고 완전 연결 네트워크의 일반화 능력을 향상시키기 위해 데이터 증강(뒤집기, 회전, 이동)을 적용하는 것.
• 퍼미터리케이션 불변성 있는 CIFAR-10에서의 기준 모델들(로지스틱 회귀, 딥 MLP, RBM, 이전 최고 성능 모델들)과의 성능 비교

실험 결과

연구 질문

• RQ1 완전 연결 네트워크가 컨볼루션 유도적 편향 없이도 이미지 분류에서 높은 성능을 낼 수 있는가?
• RQ2 선형 버티컬 레이어는 깊이 있는 완전 연결 네트워크에서 기울기 흐름과 희소성에 어떤 영향을 미치는가?
• RQ3 숨은 유닛 편향이 없는 오토인코더를 훈련시킬 경우 후속 분류 성능에 어떤 영향을 미치는가?
• RQ4 데이터 증강은 완전 연결 네트워크에서 퍼미터리케이션 불변성의 부족을 어느 정도 보완할 수 있는가?
• RQ5 이러한 아키텍처적 및 사전 훈련 선택은 최적화 및 정확도 측면에서 PReLU나 Maxout와 어떻게 비교되는가?

주요 결과

• 선형 버티컬 레이어와 편향이 없는 오토인코더 사전 훈련을 적용한 완전 연결 네트워크는 퍼미터리케이션 불변성 있는 CIFAR-10 작업에서 69.62%의 정확도를 달성했으며, 이는 이전 최고 성능인 63.1%와 63.9%를 초월한다.
• 데이터 증강(뒤집기, 회전, 이동)을 적용한 동일한 완전 연결 아키텍처는 78.62%의 정확도를 기록했으며, 잘 트레이닝된 컨볼루션 네트워크에 비해 약 10% 뒤처지는 수준이다.
• 선형 버티컬 레이어의 사용은 희소성을 줄이고 기울기 흐름을 향상시켜 기울기 소멸 문제를 완화한다.
• 편향이 없는 오토인코더를 사용한 사전 훈련은 가중치 부분집합의 직교화를 도와주며 최적화를 향상시켜 성능 향상에 기여한다.
• 선형 버티컬 레이어와 편향이 없는 사전 훈련의 조합은 퍼미터리케이션 불변성 있는 CIFAR-10 벤치마크에서 PReLU나 Maxout 활성화 함수를 사용한 동등한 네트워크보다 우수한 성능을 낸다.
• 결과적으로, 희소성과 기울기 흐름을 관리하기 위해 아키텍처 선택을 적절히 한 완전 연결 네트워크는 가중치 공유와 같은 유도적 편향이 없더라도 매우 효과적일 수 있음을 보여준다.