[논문 리뷰] Knowledge Matters: Importance of Prior Information for Optimization

Çaǧlar Gülçehre, Yoshua Bengio|arXiv (Cornell University)|2013. 01. 17.

Advanced Image and Video Retrieval Techniques참고 문헌 40인용 수 104

한 줄 요약

이 논문은 블랙박스 알고리즘과 표준 신경망에서 특정 딥러닝 작업이 실패하는 이유를 조사하며, 이미지 내 객체 존재와 같은 중간 개념에 대한 사전 지식을 도입함으로써 최적화가 성공적으로 이뤄질 수 있음을 보여준다. 유도된 힌트를 가진 이중 계층 MLP를 사용하여 동일한 스프라이트 탐지와 같은 복합적인 어려운 작업에서 거의 완벽한 성능을 달성한 반면, 무작위 초기화와 비지도 사전 훈련은 실패하여, 불량 조건화와 열악한 국소 최적해에 기인한 최적화 곤경을 드러낸다.

ABSTRACT

We explore the effect of introducing prior information into the intermediate level of neural networks for a learning task on which all the state-of-the-art machine learning algorithms tested failed to learn. We motivate our work from the hypothesis that humans learn such intermediate concepts from other individuals via a form of supervision or guidance using a curriculum. The experiments we have conducted provide positive evidence in favor of this hypothesis. In our experiments, a two-tiered MLP architecture is trained on a dataset with 64x64 binary inputs images, each image with three sprites. The final task is to decide whether all the sprites are the same or one of them is different. Sprites are pentomino tetris shapes and they are placed in an image with different locations using scaling and rotation transformations. The first part of the two-tiered MLP is pre-trained with intermediate-level targets being the presence of sprites at each location, while the second part takes the output of the first part as input and predicts the final task's target binary event. The two-tiered MLP architecture, with a few tens of thousand examples, was able to learn the task perfectly, whereas all other algorithms (include unsupervised pre-training, but also traditional algorithms like SVMs, decision trees and boosting) all perform no better than chance. We hypothesize that the optimization difficulty involved when the intermediate pre-training is not performed is due to the {\em composition} of two highly non-linear tasks. Our findings are also consistent with hypotheses on cultural learning inspired by the observations of optimization problems with deep learning, presumably because of effective local minima.

연구 동기 및 목표

• 표준 알고리즘으로는 해결이 불가능한 딥러닝 작업에서 중간 개념에 대한 사전 정보가 최적화 실패를 극복할 수 있는지 조사하기.
• 복합적이고 비선형적인 작업에서 딥 네트워크의 실패 원인이 정규화 문제보다 최적화 장애에 기인하는지 여부를 검토하기.
• 구조적 제약과 훈련 절차가 효과적인 국소 최적해에 수렴하는 데 미치는 영향을 평가하기.
• 다른 에이전트로부터의 도움(힌트 형태)을 통한 인간과 유사한 문화적 학습이 인공 신경망의 최적화 곤경을 완화시킬 수 있는지 시험하기.
• 중간 수준의 감독을 통한 커리큘럼 학습이 제한된 데이터 조건에서도 해결이 불가능한 작업을 해결 가능한 것으로 전환할 수 있는지 탐색하기.

제안 방법

• 이중 계층 MLP 아키텍처를 사용하며, 첫 번째 은닉층은 방향성과 척도에 관계없이 개별 스프라이트 클래스의 존재와 위치를 탐지하도록 사전 훈련된다.
• 네트워크의 두 번째 부분은 첫 번째 계층의 출력을 감독 힌트로 사용하여, 이미지 내 세 개의 스프라이트가 모두 동일한 모양인지 여부를 예측하는 이진 작업을 수행한다.
• 최적화 역학을 향상시키고 불량 조건화를 줄이기 위해 중간 계층의 활성화를 표준화한다.
• 표준 MLP, 랜덤 초기화, 힌트 유무에 따른 SMLP, 아키텍처 제약 및 대체 훈련 절차를 가진 변형을 비교하는 실험을 수행한다.
• 훈련 절차는 온라인 SGD를 사용하며, 64×64 크기의 3개의 펜토미노 스프라이트를 포함한 대규모 합성 데이터셋에서 일반화 성능을 평가한다.
• 중간 개념에 대한 비지도 사전 훈련을 尝시했지만 작업을 해결하지 못하여, 이 복합적인 어려운 문제에 대해 비지도 특징 학습이 부족함을 시사한다.

실험 결과

연구 질문

• RQ1 예를 들어 객체 존재와 같은 중간 개념에 대한 감독을 도입하면, 딥 네트워크가 블랙박스 방법으로는 해결이 어려운 최적화 문제를 해결 가능한 문제로 전환할 수 있는가?
• RQ2 이 작업에서 표준 딥 네트워크가 실패하는 것은 과적합이나 정규화 문제 때문이 아니라, 불량 조건화 또는 비효율적인 국소 최적해와 같은 최적화 곤경 때문인가?
• RQ3 충분한 용량이 확보되어 있어도, 아키텍처나 훈련 절차가 좋은 일반화 솔루션을 찾는 데 영향을 미치는가?
• RQ4 중간 특징에 대한 비지도 사전 훈련이 이 작업을 해결할 수 있는가, 아니면 복합적인 작업의 성격 때문에 실패하는가?
• RQ5 다른 에이전트로부터의 사전 지식 또는 도움(힌트 형태)이, 엔드 투 엔드 훈련으로는 도달하기 어려운 고차원 추상화를 학습하는 데 얼마나 기여하는가?

주요 결과

• 스프라이트 존재 및 위치에 대한 중간 감독을 받는 이중 계층 MLP는 블랙박스 알고리즘과 표준 딥 네트워크가 실패한 작업에서 거의 완벽한 테스트 성능을 달성했다.
• 같은 아키텍처를 랜덤 초기화로 훈련한 경우 테스트 정확도는 27.5%에 그쳐, 심각한 최적화 곤경이 과적합 문제보다 더 근본적인 원인임을 시사한다.
• 중간 계층의 활성화를 표준화함으로써 훈련 역학이 크게 향상되었고, 열악한 효과적 국소 최적해에서 벗어나도록 도움이 되었다.
• 중간 특징에 대한 비지도 사전 훈련은 작업을 해결하지 못했으며, 이는 이 복합적인 문제에 대해 비지도 특징 학습이 부족함을 시사한다.
• 105만 개의 훈련 예제가 존재함에도 불구하고, 힌트 없이 훈련된 표준 MLP는 여전히 최적에 가까이 가지 못했으며, 이는 대규모 데이터 조건에서도 최적화 장벽이 지속됨을 시사한다.
• 결과는 이 작업의 어려움이 두 개의 매우 비선형적인 하위 작업의 조합으로 인해 발생하며, 구조적 또는 인덕티브 바이어스 없이선 불량 조건화와 수렴 불량이 발생하기 쉬운 것으로 나타났다.