[논문 리뷰] Relevant sparse codes with variational information bottleneck

Matthew Chalk, Olivier Marre외 1명|arXiv (Cornell University)|2016. 05. 24.

Blind Source Separation Techniques참고 문헌 18인용 수 50

한 줄 요약

이 논문은 입력 X를 압축하면서도 관련 변수 Y에 대한 정보를 최대화함으로써 희소하고 관련성이 높은 표현을 학습할 수 있도록 하는 정보 버블링(IB) 프레임워크를 위한 변분 추론 접근법을 제안한다. 변분 하한과 커널화를 사용하여 고차원이고 비정규 분포인 데이터를 효율적으로 처리하며, X와 Y를 함께 설명하는 희소 특징을 복원한다. 이는 청각적 메우기 및 숫자 재구성과 같은 작업에서 표준 IB 및 희소 코딩 모델보다 뛰어난 성능을 보인다.

ABSTRACT

In many applications, it is desirable to extract only the relevant aspects of data. A principled way to do this is the information bottleneck (IB) method, where one seeks a code that maximizes information about a 'relevance' variable, Y, while constraining the information encoded about the original data, X. Unfortunately however, the IB method is computationally demanding when data are high-dimensional and/or non-gaussian. Here we propose an approximate variational scheme for maximizing a lower bound on the IB objective, analogous to variational EM. Using this method, we derive an IB algorithm to recover features that are both relevant and sparse. Finally, we demonstrate how kernelized versions of the algorithm can be used to address a broad range of problems with non-linear relation between X and Y.

연구 동기 및 목표

• 고차원 및 비정규 분포 데이터 환경에서 정보 버블링(IB) 방법의 계산적 비가역성 문제를 해결하기 위해.
• 정확한 추론이 불가능한 경우에도 최적화가 가능하도록 하며, 목표 변수 Y에 대한 관련성을 최대화하면서 입력 X를 압축함으로써 희소 표현을 학습하는 타당하고 확장 가능한 알고리즘을 개발하기 위해.
• 커널 방법을 활용하여 비선형 문제로의 IB 프레임워크 확장을 통해 X와 Y 간의 공통 잠재 특징을 발견하기 위해.
• 관련 작업 지도를 Y를 통해 통합함으로써 희소 코딩 및 인포맥스 모델에 대한 원리적인 대안을 제공하기 위해.
• 학습된 희소 특징이 다양한 작업으로 일반화되고, 메우기(perceptual filling-in)와 같은 인지적 현상을 모사할 수 있는 능력을 입증하기 위해.

제안 방법

• 정확한 추론이 불가능한 경우에도 최적화가 가능하도록 하기 위해 IB 목적 함수에 대한 변분 하한을 제안한다.
• 반복적인 변분 EM 유사 알고리즘을 사용: 먼저 변분 근사 q(y|r)와 q(r)를 최적화하고, 그 다음에 p(r|x; Θ)의 인코딩 파라미터 Θ를 최적화한다.
• 계산적 타당성을 확보하고 희소성을 유도하기 위해, 예를 들어 q(y|r)에 대해 선형-정규 분포를, q(r)에 대해 희소 사전 확률을 사용하는 제한된 변분 분포 가족을 적용한다.
• 입력 공간에 커널화를 적용하여, 커널 함수를 통해 X를 고차원 특징 공간으로 매핑함으로써 비선형 특징을 발견할 수 있도록 한다.
• 확장 계수들이 커널 리지 회귀의 한 형태와 대응하는 커널화된 IB 알고리즘을 유도하며, 이는 다양한 작업으로의 일반화를 가능하게 한다.
• 잠재 코드 r에 대해 희소 사전 확률(예: 스튜던트-t 분포)을 적용하여, X와 Y를 함께 설명하는 희소 표현을 유도한다.

실험 결과

연구 질문

• RQ1 정보 버블링 방법에 대한 변분 근사가 고차원이고 비정규 분포인 데이터에서 희소하고 관련성이 높은 특징을 효과적으로 학습할 수 있는가?
• RQ2 관련 변수 Y의 포함 여부가 표준 희소 코딩 모델과 비교해 학습된 표현의 구조와 희소성에 어떤 영향을 미치는가?
• RQ3 커널화된 IB가 입력 X와 관련 변수 Y 사이의 비선형 관계를 어느 정도 복원할 수 있으며, 커널 CCA나 KRR와 비교해 어떻게 성능을 냈는가?
• RQ4 학습된 희소 특징이 차폐 작업에서 메우기와 같은 인지적 현상을 지원할 수 있는가?
• RQ5 버블링 파라미터 γ가 학습된 표현에서 압축과 관련성 간의 상호 균형을 어떻게 조절하는가?

주요 결과

• 변분 IB 방법은 청각적 메우기 모델링에서 표준 IB 및 희소 코딩보다 뛰어난 성능을 보이며, 메우기 효과가 발생할 때는 가림 영역과 노출 영역 모두에 자극이 존재할 때 반응이 최고조에 이르는 희소이고 관련성이 높은 특징을 성공적으로 학습했다.
• USPS 손글씨 숫자 데이터셋에서, 희소 커널 IB 알고리즘이 가려진 영역으로 연장되는 복원 필터를 회복했으며, 기준 방법과는 달리 실제 숫자와 유사한 형태를 띠었다.
• 희소 kIB 모델의 반응 분포는 가우시안 kIB보다 훨씬 더 꼬리가 두꺼운 경향을 보였으며, 이는 더 희소하고 선택적인 표현임을 시사한다.
• 희소 kIB에서 학습된 특징은 다양한 작업으로 일반화되었으며, 입력-출력 맵핑이 변화하더라도 Y를 X로부터 재구성할 수 있었다. 반면 KRR는 이러한 중간 표현이 없어 일반화 능력이 떨어졌다.
• CCA와 달리, 이 방법은 버블링 파라미터 γ를 통해 자동으로 특징의 수와 척도를 결정한다.
• 표준 희소 코딩이나 인포맥스 모델에서는 확보할 수 없는 바탕이 되는 특징의 응답 분산에 따라 순서를 자연스럽게 정렬함으로써 관련성의 명확한 계층을 제공한다.