[논문 리뷰] Learning Ordered Representations with Nested Dropout

Oren Rippel, Michael A. Gelbart외 1명|arXiv (Cornell University)|2014. 02. 05.

Advanced Image and Video Retrieval Techniques참고 문헌 18인용 수 44

한 줄 요약

이 논문은 신경망 표현의 계층적 순서를 강제하기 위해 숨겨진 뉴런의 중첩된 부분집합을 마스킹하는 스토하스틱 정규화 방법인 네스티드 드롭아웃을 소개한다. 반선형 오토인코더에서 네스티드 드롭아웃은 식별 가능성(identifiability)을 강제하고 정확히 주성분 분석(PCA)과 동치가 되며, 고유하고 순서가 지정된 표현을 제공함으로써 빠른 로그 시간 검색과 코드 품질을 희생시키지 않는 적응형 압축을 가능하게 한다.

ABSTRACT

In this paper, we study ordered representations of data in which different dimensions have different degrees of importance. To learn these representations we introduce nested dropout, a procedure for stochastically removing coherent nested sets of hidden units in a neural network. We first present a sequence of theoretical results in the simple case of a semi-linear autoencoder. We rigorously show that the application of nested dropout enforces identifiability of the units, which leads to an exact equivalence with PCA. We then extend the algorithm to deep models and demonstrate the relevance of ordered representations to a number of applications. Specifically, we use the ordered property of the learned codes to construct hash-based data structures that permit very fast retrieval, achieving retrieval in time logarithmic in the database size and independent of the dimensionality of the representation. This allows codes that are hundreds of times longer than currently feasible for retrieval. We therefore avoid the diminished quality associated with short codes, while still performing retrieval that is competitive in speed with existing methods. We also show that ordered representations are a promising way to learn adaptive compression for efficient online data reconstruction.

연구 동기 및 목표

• 표현 학습에서 순열 및 선형 변환과 같은 불변성으로 인해 여러 동치 해가 존재하는 비식별성 문제(non-identifiability problem)를 해결하기 위해.
• 정보 내용에 따라 표현 차원의 사전 순서를 강제하여, 각 후속 차원이 이전보다 덜 정보를 담도록 보장하기 위해.
• 허수 기반 데이터 구조를 활용해 순서화된 구조를 이용해 고차원 표현의 효율적이고 확장 가능한 검색을 가능하게 하기 위해.
• 각 차원이 복원에 점점 더 적은 기여를 하도록 표현을 학습하여 동적 자르기(dynamic truncation)를 가능하게 하기 위해.

제안 방법

• 네스티드 드롭아웃은 숨겨진 뉴런의 중첩된 부분집합에 대해 스토하스틱 마스크를 적용하며, 뉴런 j가 존재하면 1부터 j−1까지의 모든 뉴런이 존재함을 의미한다.
• 이 방법은 마스크 S_b = {1, ..., b}를 갖는 단계 b ∈ {1, ..., K}에 대한 분포를 정의하여 계층적 의존성과 순서 강제를 유도한다.
• 반선형 오토인코더에서 네스티드 드롭아웃 하에 최적화 목표는 정규직교 조건을 강제할 경우 유일한 전역 최적해(global optimum)를 도출하며, 고유값 분해를 통해 PCA와 정확히 동치가 된다.
• 해결책의 구조는 블록 행렬 역행렬과 자르기(commutative) 조건을 만족하는 행렬의 성질을 이용해 유도되며, 최적의 인코더 및 디코더 행렬이 유일하게 결정됨을 보장한다.
• 결과로 유도된 표현 순서는 자르기 전후로 유지되며, 로그 시간 검색이 가능한 계층적 해시 테이블을 구성하는 데 유용하다. 이는 코드 차원의 크기와 무관하게 성능을 보장한다.
• 정보 감소의 순서가 보장되므로, 상위-k 차원만을 사용해 온라인 복원이 가능하며, 이로 인해 정보 감소의 단조성 덕분에 손실이 최소화된다.

실험 결과

연구 질문

• RQ1 네스티드 드롭아웃은 순열 및 선형 불변성을 제거함으로써 표현 학습에서 식별 가능성을 강제할 수 있는가?
• RQ2 반선형 오토인코더에서 네스티드 드롭아웃은 PCA의 해와 일치하는 유일한 전역 최적해를 도출하는가?
• RQ3 네스티드 드롭아웃을 통해 학습된 순서화된 표현은 데이터베이스 크기에 관계없이 검색 복잡도가 로그 시간(O(log N))이 되도록 보장할 수 있는가?
• RQ4 네스티드 드롭아웃 표현에서 정보 내용은 각 차원을 통해 어떻게 감소하는가? 이는 적응형 압축을 지원할 수 있는가?
• RQ5 네스티드 드롭아웃 목표에서 유도되는 가중치 행렬에 대한 구조적 제약 조건은 무엇이며, 이는 식별 가능성을 어떻게 보장하는가?

주요 결과

• 반선형 오토인코더에서 네스티드 드롭아웃은 정규직교 조건 하에서 식별 가능성을 강제하며, 해 공간을 단 하나의 전역 최적해로 줄인다.
• 유일한 최적 해는 데이터 공분산 행렬의 상위 K개 고유벡터로 구성되며, 고유값 크기 순서로 정렬되어 있으며, 이는 정확히 PCA와 동치임을 증명한다.
• 최적의 인코더 및 디코더 행렬은 자르기와 가환성(commutative)을 가지며, 정규직교 조건 하에서 T = I_K가 되는 행렬 T에 의해 유일하게 결정된다.
• 순서화된 표현은 로그 시간 검색이 가능한 헤시 기반 데이터 구조를 구성할 수 있으며, 이는 코드 차원 K의 크기와 무관하게 O(log N) 시간 복잡도를 달성한다. 이는 이전 방법에 비해 수백 배 이상 긴 코드 길이를 가능하게 한다.
• 정보 감소의 단조성 덕분에 상위-k 차원만을 사용해도 높은 품질의 복원이 가능하며, 손실이 최소화된다.
• 이론적 분석을 통해 해가 초기화 방법의 선택에 불변함을 확인하였으며, 기존 오토인코더와 RBM에서 흔히 발생하는 비식별성 문제를 피할 수 있음을 입증하였다.