[논문 리뷰] Deep Multi-View Learning with Stochastic Decorrelation Loss.

Xiaobin Chang, Tao Xiang외 1명|arXiv (Cornell University)|2017. 07. 30.

Video Surveillance and Tracking Methods인용 수 4

한 줄 요약

이 논문은 깊이 있는 다중 시각 표현 학습을 위한 확장 가능하고 미니배치 기반의 확률적 상관 없애기 손실(Stochastic Decorrelation Loss, SDL)을 제안한다. 이는 SVD 계산 없이도 시각 간 활성화의 효과적인 상관 없애기를 가능하게 하며, DCCA 및 FAE 프레임워크를 통합하여 기존의 상관 없애기 방법보다 확장성과 성능을 향상시킨다.

ABSTRACT

Multi-view learning aims to learn an embedding space where multiple views are either maximally correlated for cross-view recognition, or decorrelated for latent factor disentanglement. A key challenge for deep multi-view representation learning is scalability. To correlate or decorrelate multi-view signals, the covariance of the whole training set should be computed which does not fit well with the mini-batch based training strategy, and moreover (de)correlation should be done in a way that is free of SVD-based computation in order to scale to contemporary layer sizes. In this work, a unified approach is proposed for efficient and scalable deep multi-view learning. Specifically, a mini-batch based Stochastic Decorrelation Loss (SDL) is proposed which can be applied to any network layer to provide soft decorrelation of the layer's activations. This reveals the connection between deep multi-view learning models such as Deep Canonical Correlation Analysis (DCCA) and Factorisation Autoencoder (FAE), and allows them to be easily implemented. We further show that SDL is superior to other decorrelation losses in terms of efficacy and scalability.

연구 동기 및 목표

• 전체 배치 공분산 계산이 (상관 없애기)를 위해 필요로 하는 깊이 있는 다중 시각 학습의 확장성 문제를 해결한다.
• 계산적으로 비용이 많이 드는 SVD 연산에 의존하지 않고도 깊이 있는 신경망에서 활성화의 효율적인 상관 없애기를 가능하게 한다.
• 다양한 기반 손실에 기반한 DCCA 및 FAE와 같은 기존 모델들을 유연한 손실 기반으로 통합하는 공통 프레임워크를 구축한다.
• 표준 미니배치 최적화 기법과 함께 효과적으로 작동하는 훈련 친화적인 손실을 개발한다.

제안 방법

• 전체 데이터셋이 아닌 작은 무작위 배치에서 상관 없애기를 계산하는 미니배치 기반의 확률적 상관 없애기 손실(SDL)을 제안한다.
• 모든 신경망 레이어에 적용 가능한 미분 가능한 정규화 손실로 SDL을 적용하여 활성화 특징의 부드러운 상관 없애기를 유도한다.
• 공분산 행렬의 추적 기반 근사로 SDL을 수식화하여 명시적 SVD 분해를 피한다.
• SDL을 깊이 있는 아키텍처에 통합하여 표준 역전파를 사용한 엔드 투 엔드 훈련을 가능하게 한다.
• SDL이 레이어 전반에 걸쳐 균일하게 적용될 수 있음을 보여주며, 이는 시각 간 상관 없애기와 잠재 요인의 분리 가능성을 동시에 가능하게 한다.
• SDL이 DCCA 및 FAE와 같은 기존 모델로 일반화됨을 보여주며, 이들의 효율적인 구현을 가능하게 한다.

실험 결과

연구 질문

• RQ1 전체 배치 공분산 계산이 필요 없는 상관 없애기 손실을 설계할 수 있을까? 이는 대규모 깊이 신경망에 대해 효율적으로 확장 가능한가?
• RQ2 제안된 SDL은 기존의 상관 없애기 손실 대비 훈련 효율성과 표현 품질 측면에서 어떻게 비교되는가?
• RQ3 SDL은 DCCA 및 FAE와 같은 기존의 다중 시각 학습 모델을 얼마나 잘 통합하고 향상시킬 수 있는가?
• RQ4 SDL은 각 훈련 단계에서 SVD가 필요 없어지더라도 성능을 유지할 수 있는가?

주요 결과

• SDL은 SVD 없이도 깊이 있는 신경망에서 활성화의 효과적인 상관 없애기를 가능하게 하여 훈련의 확장성을 크게 향상시킨다.
• 교차 시각 인식 및 분리 작업 모두에서 다른 상관 없애기 손실 대비 뛰어난 성능을 달성한다.
• SDL은 DCCA 및 FAE와 같은 기존 모델에 원활하게 통합되어 실용성과 훈련 효율성을 향상시킨다.
• 표준 미니배치 훈련과 호환되어 현대의 딥러닝 프레임워크와 대규모 데이터셋에 적합하다.