[논문 리뷰] Discovering Hidden Factors of Variation in Deep Networks

Brian Cheung, Jesse A. Livezey외 2명|arXiv (Cornell University)|2014. 12. 01.

Face recognition and analysis인용 수 26

한 줄 요약

이 논문은 자동에코더에 교차공분산 페널티(XCov) 정규화를 도입하여 MNIST 숫자의 손글씨 스타일이나 얼굴 이미지에서의 개인 신원과 같은 주요 분류 신호 외의 숨겨진 변동 요인들을 분리하고 명시적으로 표현하는 방법을 제안한다. 이 방법은 깊은 신경망이 데이터의 새로운 변동을 발견하고 표현하며 외삽할 수 있도록 하며, MNIST, TFD, Multi-PIE 데이터셋에서 제어 가능한 방식으로 변형된 데이터 인스턴스를 생성함으로써 성능을 입증한다.

ABSTRACT

Deep learning has enjoyed a great deal of success because of its ability to learn useful features for tasks such as classification. But there has been less exploration in learning the factors of variation apart from the classification signal. By augmenting autoencoders with simple regularization terms during training, we demonstrate that standard deep architectures can discover and explicitly represent factors of variation beyond those relevant for categorization. We introduce a cross-covariance penalty (XCov) as a method to disentangle factors like handwriting style for digits and subject identity in faces. We demonstrate this on the MNIST handwritten digit database, the Toronto Faces Database (TFD) and the Multi-PIE dataset by generating manipulated instances of the data. Furthermore, we demonstrate these deep networks can extrapolate `hidden' variation in the supervised signal.

연구 동기 및 목표

• 주요 분류 신호 외의 요인들을 분리된 표현으로 학습하는 데에 깊은 신경망의 한계를 해결하기 위해.
• 손글씨 스타일과 얼굴 이미지에서의 신원과 같은 숨겨진 변동 요인들을 발견하고 명시적으로 표현하기 위해.
• 단지 감독 신호만을 사용하여도 깊은 신경망이 데이터의 새로운 변동을 외삽할 수 있도록 하기 위해.
• 각 요인에 대해 명시적인 감독 없이도 분리된 표현을 유도하는 정규화 기법을 개발하기 위해.

제안 방법

• 자기표준화된 잠재 요소 간의 통계적 종속성을 최소화하기 위해 자동에코더 훈련 중 교차공분산 페널티(XCov)를 정규화 항으로 도입한다.
• 표준 딥 자동에코더 아키텍처에 XCov를 적용하여 학습된 잠재 공간에서 스타일과 콘텐츠와 같은 요소들을 분리하도록 유도한다.
• 정규화된 자동에코더를 활용해 특정 분리된 요소를 보간하거나 수정함으로써 변형된 데이터 인스턴스를 생성한다.
• 분류 레이블만을 사용하여 MNIST, TFD, Multi-PIE와 같은 표준 데이터셋을 훈련시키지만, 분류와 관련 없는 요소도 표현할 수 있도록 한다.
• 다양한 잠재 요소 구성 요소 간의 교차공분산을 페널티로 삼는 단순하고 미분 가능한 정규화 항을 사용한다.
• 분리된 표현을 활용해 훈련 데이터에 존재하지 않는 새로운 변동을 제로샷 생성할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 표준 딥 자동에코더는 해당 요소들에 대해 명시적인 감독 없이도 숨겨진 변동 요인을 발견하고 표현할 수 있는가?
• RQ2 교차공분산 페널티(XCov)는 이미지 데이터에서 손글씨 스타일이나 신원과 같은 요소들을 얼마나 효과적으로 분리하는가?
• RQ3 학습 세트에 존재하지 않는 새로운 변동에 대해 학습된 표현이 외삽할 수 있는가?
• RQ4 분류 레이블과 XCov 정규화만을 사용하여 얼마나 잘 분리된 표현을 생성하고 제어할 수 있는가?

주요 결과

• XCov 정규화는 MNIST에서의 손글씨 스타일과 얼굴 이미지에서의 개인 신원 요소를 효과적으로 분리하여 특정 속성에 대한 제어 가능한 조작이 가능하게 한다.
• 특정 분리된 요소를 수정함으로써 자연스럽고 다양한 데이터 인스턴스를 생성하여 숨겨진 변동에 대한 명시적 제어를 입증한다.
• 분류 레이블만으로도 네트워크가 새로운 손글씨 스타일이나 개인 신원과 같은 새로운 변동을 표현하고 외삽할 수 있음을 보여준다.
• 개별 요소에 대한 약한 감독 또는 자기학습 신호가 필요 없이도 XCov 페널티만으로도 분리된 표현을 달성할 수 있다.
• 이 방법은 다양한 데이터셋에 일반화되며, MNIST, 토리onto Faces Database(TFD), Multi-PIE에서 일관된 분리 성능을 보여준다.
• 특정 잠재 요소를 수정했을 때 생성된 샘플이 의미적으로나 의미론적으로 타당한 변화를 보이며, 학습된 표현의 해석 가능성과 일관성을 확인한다.