[논문 리뷰] Discriminative Recurrent Sparse Auto-Encoders

Jason Tyler Rolfe, Yann LeCun|arXiv (Cornell University)|2013. 01. 16.

Generative Adversarial Networks and Image Synthesis참고 문헌 41인용 수 31

한 줄 요약

이 논문은 공유 가중치와 ReLU를 갖는 순환 신경망으로, 시간에 따라 펼쳐져 계층적 표현을 학습하는 분류 기반 순환 희소 오토인코더(DrSAE)를 제안한다. 이는 희소 복원과 분류를 동시에 최적화하여 구분 가능한 분류 유닛(프로토타입)과 부분 유닛(변형)을 발견하며, 최소한의 파라미터와 명시적 데이터 다양체 모델링을 통해 강력한 MNIST 성능을 달성한다.

ABSTRACT

We present the discriminative recurrent sparse auto-encoder model, comprising a recurrent encoder of rectified linear units, unrolled for a fixed number of iterations, and connected to two linear decoders that reconstruct the input and predict its supervised classification. Training via backpropagation-through-time initially minimizes an unsupervised sparse reconstruction error; the loss function is then augmented with a discriminative term on the supervised classification. The depth implicit in the temporally-unrolled form allows the system to exhibit all the power of deep networks, while substantially reducing the number of trainable parameters. From an initially unstructured network the hidden units differentiate into categorical-units, each of which represents an input prototype with a well-defined class; and part-units representing deformations of these prototypes. The learned organization of the recurrent encoder is hierarchical: part-units are driven directly by the input, whereas the activity of categorical-units builds up over time through interactions with the part-units. Even using a small number of hidden units per layer, discriminative recurrent sparse auto-encoders achieve excellent performance on MNIST.

연구 동기 및 목표

• 비지도 희소 코딩과 분류 기반 학습을 융합한 깊이 있고 파라미터 효율적인 신경망 아키텍처를 개발하는 것.
• 분류 프로토타입을 나타내는 분류 유닛과 변형을 인코딩하는 부분 유닛을 포함한 계층적 표현을 통해 데이터 다양체를 모델링하는 것.
• 먼저 복원을 학습한 후 분류 손실을 추가하는 역전파-시간을 통한 엔드 투 엔드 학습을 가능하게 하는 것.
• 비지도 사전 학습 후 분류 기반 정밀 조정을 통해 숨겨진 유닛의 구조적 조직—분류 유닛과 부분 유닛—을 발견하는 것.
• 모델이 시각 인식 작업(예: MNIST)에서 잘 일반화하는 분리된, 클래스에 특화된 표현을 학습하는지 확인하는 것.

제안 방법

• 모델은 T개의 시간 단계에 걸쳐 펼쳐지는 공유 가중치 행렬을 가진 ReLU 기반 순환 인코더를 사용한다.
• 인코더는 0으로 초기화된 은닉 상태를 갖으며, ISTA를 영감으로 삼은 유사 프록시 알고리즘을 사용해 반복 업데이트를 수행한다.
• 두 개의 디코더가 부착되어 있다: 하나는 최종 은닉 상태를 사용해 입력을 복원하고, 다른 하나는 감독된 클래스 레이블을 예측한다.
• 학습은 두 단계로 진행된다: 먼저 역전파-시간을 통한 희소 복원 손실 최소화, 그 후 분류 기반 교차 엔트로피 항을 손실에 추가한다.
• 디코더 가중치에 음수 제약 조건을 적용하여 셸링 연산을 ReLU 유사 비선형성으로 변환한다.
• 은닉 유닛은 자발적으로 두 유형으로 분화된다: 날카롭고 클래스에 특화된 프로토타입인 분류 유닛과 국소적이고 변형에 민감한 부분 유닛.

실험 결과

연구 질문

• RQ1 공유 가중치와 희소 정규화를 갖는 순환 오토인코더는 명시적 감독 없이도 분리된, 클래스에 특화된 표현을 학습할 수 있는가?
• RQ2 비지도 복원과 분류 기반 정밀 조정의 조합이 은닉 유닛 내 계층적 구조의 부상에 어떤 영향을 미치는가?
• RQ3 모델은 프로토타입(분류 유닛)과 탄젠트 공간 변형(부분 유닛)을 사용해 데이터 다양체를 효과적으로 표현할 수 있는가?
• RQ4 부분 유닛과 분류 유닛이 얼마나 협력하여 분류 정확도를 향상시키면서도 희소하고 해석 가능한 표현을 유지하는가?
• RQ5 동일한 파라미터 수를 가진 표준 딥 네트워크에 비해, 순환 네트워크의 시간적 펼침이 더 높은 표현 능력을 제공하는가?

주요 결과

• DrSAE는 각 레이어당 매우 적은 수의 은닉 유닛만을 사용하여 MNIST 분류에서 높은 성능을 달성하며, 최소한의 파라미터로도 강력한 일반화 성능을 보였다.
• 학습 후 은닉 유닛은 두 가지 유형으로 명확히 분화되며, 날카롭고 클래스에 특화된 프로토타입인 분류 유닛과 국소적 변형을 인코딩하는 부분 유닛으로 나뉜다.
• 분류 유닛은 동역학의 후반부에 활성화되며, 부분 유닛과의 상호작용을 통해 점차 축적되며 상호 억제를 통해 서로 다른 클래스 간의 경쟁을 가능하게 한다.
• 부분 유닛은 입력에 크게 영향을 받으며, 입력과 프로토타입 간 잔차에 대해 희소 코딩 기능을 수행하여 변형 모델링을 가능하게 한다.
• 복원 과정은 데이터 다양체를 따라 경로를 따라가며, 입력이 프로토타입에서 멀어도 중간 단계의 표현은 여전히 올바른 클래스로 식별 가능하다.
• 모델은 평균보다 더 날카로운 클래스 프로토타입 표현을 학습하며, 프로토타입과 변형 부분을 조합함으로써 다양한 변형에 대해 일반화할 수 있다.