[논문 리뷰] An Information-Theoretic Framework for Non-linear Canonical Correlation Analysis.

Amichai Painsky, Meir Feder외 1명|arXiv (Cornell University)|2018. 10. 31.

Face and Expression Recognition참고 문헌 58인용 수 4

한 줄 요약

이 논문은 상호정보량을 통해 복잡도를 제어하면서 상관관계를 최대화하는 압축 표현을 최적화하는 정보이론적 프레임워크인 ITCCA를 제안한다. ACE 및 비선형 CCA와 비교해 뛰어난 성능을 내며 계산 비용도 감소시키며, 이론적으로 비율-왜곡 이론과 정보 블로킹과 연결된다.

ABSTRACT

Canonical Correlation Analysis (CCA) is a linear representation learning method that seeks maximally correlated variables in multi-view data. Non-linear CCA extends this notion to a broader family of transformations, which are more powerful for many real-world applications. Given the joint probability, the Alternating Conditional Expectation (ACE) provides an optimal solution to the non-linear CCA problem. However, it suffers from limited performance and an increasing computational burden when only a finite number of observations is available. In this work we introduce an information-theoretic framework for the non-linear CCA problem (ITCCA), which extends the classical ACE approach. Our suggested framework seeks compressed representations of the data that allow a maximal level of correlation. This way we control the trade-off between the flexibility and the complexity of the representation. Our approach demonstrates favorable performance at a reduced computational burden, compared to non-linear alternatives, in a finite sample size regime. Further, ITCCA provides theoretical bounds and optimality conditions, as we establish fundamental connections to rate-distortion theory, the information bottleneck and remote source coding. In addition, it implies a soft dimensionality reduction, as the compression level is measured (and governed) by the mutual information between the original noisy data and the signals that we extract.

연구 동기 및 목표

• ACE와 같은 비선형 CCA 방법의 한계, 즉 높은 계산 비용과 열악한 유한 표본 성능를 해결하기 위해.
• 비선형 CCA에서 표현의 유연성과 복잡도 간의 트레이드오프를 제어할 수 있는 프레임워크를 개발하기 위해.
• 비선형 CCA와 비율-왜곡 이론 및 정보 블로킹과 같은 정보이론적 원리 간의 이론적 연결을 수립하기 위해.
• 원본 데이터와 추출된 신호 간의 상호정보량을 통해 압축을 직접 제어함으로써 소프트 차원 축소를 가능하게 하기 위해.

제안 방법

• ITCCA는 상호정보량 제약 조건 하에 변환된 뷰 간의 상관관계를 최대화하는 최적화 문제로 비선형 CCA를 공식화한다.
• 이 방법은 표현 복잡도의 대체 지표로 상호정보량을 사용하여 상관관계와 모델 단순성 간의 균형을 제어할 수 있다.
• 유한 표본 조건에서 최적성을 보장하기 위해 ACE 방법을 정보이론적 프레임워크 내에 통합함으로써 이를 확장한다.
• 이 프레임워크는 비율-왜곡 이론과 원격 소스 코딩과 이론적으로 유사성을 가지며, 성능에 대한 엄밀한 경계를 제공한다.
• 입력 데이터와 추출된 특징 간의 상호정보량에 의해 명시적으로 압축 수준이 제어되는 소프트 차원 축소 메커니즘을 도입한다.
• 최적화 과정은 전통적인 비선형 CCA 방법보다 계산 비용이 적게 들도록 설계되어 부담을 줄였다.

실험 결과

연구 질문

• RQ1 어떻게 비선형 CCA를 정보이론적 프레임워크 내에 공식화하여 유한 표본 성능을 향상시킬 수 있는가?
• RQ2 상호정보량은 비선형 표현의 복잡도를 제어하는 데 어떤 역할을 하는가?
• RQ3 ITCCA는 정보 블로킹 및 비율-왜곡 이론과 같은 기존 정보이론적 원리와 어떻게 관련이 있는가?
• RQ4 ITCCA는 ACE 및 기타 비선형 CCA 방법보다 더 높은 상관관계를 달성하면서도 더 낮은 계산 비용을 확보할 수 있는가?
• RQ5 원본 데이터와 추출된 신호 간의 상호정보량은 다중 뷰 학습에서 소프트 차원 축소를 어떻게 가능하게 하는가?

주요 결과

• ITCCA는 ACE 및 기타 비선형 CCA 방법보다 유한 표본 조건 하에서 더 높은 뷰 간 상관관계를 달성한다.
• 기존 비선형 CCA 접근법보다 계산 부담을 줄여 더 스케일러블하게 한다.
• 비율-왜곡 이론과 정보 블로킹에 문제를 연결함으로써 이론적 경계와 최적성 조건을 제공한다.
• 이 프레임워크는 상호정보량에 의해 명시적으로 제어되는 압축 수준을 가진 소프트 차원 축소를 가능하게 한다.
• 비선형 CCA와 원격 소스 코딩 간의 체계적인 연결을 수립함으로써 이론적 기반을 강화한다.
• 실험 결과는 특히 데이터가 적은 환경에서 상관관계와 효율성 측면에서 유리한 성능을 보여준다.