[논문 리뷰] Maximally Informative Hierarchical Representations of High-Dimensional Data

Greg Ver Steeg, Aram Galstyan|arXiv (Cornell University)|2014. 10. 27.

Gaussian Processes and Bayesian Inference참고 문헌 19인용 수 27

한 줄 요약

이 논문은 다변량 상관정보(총 상관정보)를 최적화하여 고차원 데이터의 최대 정보량을 갖는 계층적 표현을 학습하는 원리적이고 정보이론적인 프레임워크를 제안한다. 이는 자가일致한 경계를 통해 이루어지며, 하향식으로 선형 복잡도를 가진 깊은 표현을 구성할 수 있도록 한다. 각 층에서 정보 수익을 정량화할 수 있고, S&P 500 주가 수익률과 같은 시뮬레이션 및 실세계 데이터에서 겹치는 구조와 잠재적 의존성을 더 잘 포착하는 데 이전 방법들을 능가한다.

ABSTRACT

We consider a set of probabilistic functions of some input variables as a representation of the inputs. We present bounds on how informative a representation is about input data. We extend these bounds to hierarchical representations so that we can quantify the contribution of each layer towards capturing the information in the original data. The special form of these bounds leads to a simple, bottom-up optimization procedure to construct hierarchical representations that are also maximally informative about the data. This optimization has linear computational complexity and constant sample complexity in the number of variables. These results establish a new approach to unsupervised learning of deep representations that is both principled and practical. We demonstrate the usefulness of the approach on both synthetic and real-world data.

연구 동기 및 목표

• 깊이 있는 계층적 표현의 비지도 학습을 위한 이론적으로 탄탄한 정보이론적 접근법을 개발하기 위해.
• 각 층과 잠재 인자가 고차원 데이터의 정보를 포착하는 데 기여하는 정도를 정량화하기 위해.
• 엄밀한 이론적 보장을 갖춘 스케일러블하고 하향식 최적화를 가능하게 하기 위해.
• 기존의 CorEx 방법을 확장하여 겹치는 구조를 다룰 수 있고 정보 내용에 대한 더 날카운 경계를 제공하기 위해.
• 신경과학, 게놈학 및 금융 분야에서 복잡하고 상관관계가 있는 데이터에 적용 가능한 도메인에 종속되지 않는 프레임워크를 제공하기 위해.

제안 방법

• 관측 변수와 잠재 인자 간의 총 상관정보(다변량 상관정보)에 대한 경계를 최적화하여 정보량을 극대화하는 방법을 사용한다.
• 정보에 대한 변분 경계에서 유도된 자가일치 방정식을 사용하여 반복적이고 하향식으로 층을 구성한다.
• 각 잠재 인자가 기여하는 정보를 별도로 정량화할 수 있도록 프레임워크를 제공하여 해석 가능성을 향상시킨다.
• 최적화는 선형 계산 복잡도와 일정한 샘플 복잡도를 가지며, 고차원 데이터에 효율적으로 스케일링된다.
• 표현 학습 목표를 손실 압축과 유사하게 다변량 상관정보를 설명하는 데 최대화하는 방식으로 설정한다.
• 잠재 인자를 유일한 정보를 설명할 때만 추가함으로써 자연스럽게 희박하고 트리형 또는 겹치는 계층적 구조를 생성한다.

실험 결과

연구 질문

• RQ1 정보이론적 경계를 사용하여 계층적 표현의 정보량을 공식적으로 정량화할 수 있는가?
• RQ2 각 층과 잠재 인자는 고차원 데이터의 총 상관정보 포착에 얼마나 기여하는가?
• RQ3 이론적 보장을 갖춘 하향식이고 확장 가능한 방식으로 계층적 표현을 구성할 수 있는가?
• RQ4 기존의 트리 구조 기반 접근과 달리, 이 방법은 데이터의 겹치는 구조를 어떻게 다루는가?
• RQ5 이 프레임워크는 다양한 도메인에서 비지도 표현 학습의 해석 가능성과 성능을 어느 정도 향상시킬 수 있는가?

주요 결과

• 이 방법은 선형 계산 복잡도와 일정한 샘플 복잡도를 확보하여 고차원 데이터에 대해 확장 가능하다.
• 각 층에서 정량화된 정보 수익이 보장되는 하향식으로 계층적 표현을 구성할 수 있다.
• 시뮬레이션 데이터에서, 이 방법은 경쟁 방법들보다 수십 배 이상 큰 잠재 트리를 정확히 재구성했다.
• S&P 500 금융 데이터에서, 학습된 표현은 산업 전반의 관계를 포착했고, 국소 총 상관정보 추정을 통해 2008년 금융 위기를 가장 이례적인 사건으로 식별했다.
• 프레임워크는 간선의 무게가 상호정보를 반영하고 노드 크기가 다변량 의존성을 설명하는 정도를 반영하는 희박하고 해석 가능한 그래프를 자연스럽게 생성한다.
• 기본 비교 기준인 제한된 봄볼트 막대기 모델과 비교했을 때, 이 방법은 금융 데이터에서 의미 있는 구조를 더 잘 드러냈다.