[논문 리뷰] Information Theoretic Learning with Infinitely Divisible Kernels

Luis G. Sánchez Giraldo, José C. Prı́ncipe|arXiv (Cornell University)|2013. 01. 16.

Neural Networks and Applications참고 문헌 9인용 수 13

한 줄 요약

이 논문은 무한 가datable 커널을 사용하여 데이터 그램 행렬에서 직접 엔트로피 유사 기능을 정의하는 정보 이론적 학습 프레임워크를 제안한다. 밀도 추정을 피하기 위해, 양의 정부호 행렬의 스펙트럼 성질과 Renyi의 엔트로피 공리계를 활용하여 행렬 기반의 조건부 엔트로피의 유사체를 정의한다. 이는 초과 최신 기법들과 경쟁 가능한 성능을 보이는 지도 기반 메트릭 학습에 성공적으로 적용되었다.

ABSTRACT

In this paper, we develop a framework for information theoretic learning based on infinitely divisible matrices. We formulate an entropy-like functional on positive definite matrices based on Renyi's axiomatic definition of entropy and examine some key properties of this functional that lead to the concept of infinite divisibility. The proposed formulation avoids the plug in estimation of density and brings along the representation power of reproducing kernel Hilbert spaces. As an application example, we derive a supervised metric learning algorithm using a matrix based analogue to conditional entropy achieving results comparable with the state of the art.

연구 동기 및 목표

• 무한 가용 가능한 커널에서 유도된 그램 행렬을 사용하여 밀도 추정 없이 데이터 기반의 정보 이론적 학습 프레임워크를 개발한다.
• Reny의 공리적 정의를 양의 정부호 행렬에 적용하여 비음성, 대칭성, 무한 가용성과 같은 핵심 성질을 보장하는 엔트로피 유사 기능을 정의한다.
• 헤르마르 곱과 스펙트럼 분해를 사용하여 행렬 프레임워크 내에서 연합 엔트로피 및 조건부 엔트로피와 같은 정보 이론적 양의 유사체를 수립한다.
• 행렬 기반의 조건부 엔트로피를 기반으로 한 지도 기반 메트릭 학습 알고리즘을 통해 이 프레임워크의 유용성을 입증한다.
• 이러한 방법이 밀도 추정의 파rametric 가정에 의존하지 않으면서도 벤치마크 데이터셋에서 경쟁 가능한 성능을 달성하는가를 보여준다.

제안 방법

• 무한 가용 가능한 커널에서 유도된 그램 행렬에 대해 스펙트럼 정리를 사용하여 음성 부재성과 연속성을 보장하는 엔트로피 유사 기능을 정의한다.
• 양의 정부호 행렬 공간에 대해 Renyi의 엔트로피 공리 정의를 적응하여 비음성, 대칭성, 무한 가용성과 같은 성질을 보장한다.
• 헤르마르 곱을 사용하여 그램 행렬 간의 연합 엔트로피를 정의함으로써, 행렬 연산을 통해 조건부 엔트로피의 유사체를 유도한다.
• 클래식 정의를 반영하는 행렬 연산을 사용하여 조건부 엔트로피의 유사체를 구성함으로써, 커널에 의해 유도된 힐버트 공간 내 최적화를 가능하게 한다.
• 경사 하강법을 사용하여 제안된 행렬 기반의 조건부 엔트로피를 비용 함수로 최소화하는 지도 기반 메트릭 학습 알고리즘을 유도한다.
• 직접적인 밀도 추정 없이 데이터 유사성 행렬에 기반하여 작동함으로써, 재생 커널 힐베르트 공간의 구조를 유용하게 활용한다.

실험 결과

연구 질문

• RQ1 밀도 추정 없이 그램 행렬에 직접 엔트로피 유사 기능을 정의할 수 있는가?
• RQ2 Reny의 엔트로피 공리 정의는 양의 정부호 행렬 공간에 어떻게 적응될 수 있는가?
• RQ3 커널의 무한 가용성이 데이터 행렬에 대한 유효한 정보 이론적 기능을 구성하는 데 어떤 역할을 하는가?
• RQ4 행렬 기반의 조건부 엔트로피 유사체는 효과적으로 학습 알고리즘에 적용될 수 있는가?
• RQ5 제안된 프레임워크는 밀도 추정에 의존하지 않으면서도 메트릭 학습에서 경쟁 가능한 성능을 낼 수 있는가?

주요 결과

• 무한 가용 가능한 커널에서 유도된 경우, 제안된 행렬 기반 엔트로피 기능은 음성 부재성과 무한 가용성과 같은 핵심 공리적 성질을 만족한다.
• 헤르마르 곱과 그램 행렬의 스펙트럼 분해를 사용하여 프레임워크가 연합 엔트로피 및 조건부 엔트로피의 유사체를 성공적으로 정의한다.
• 제안된 조건부 엔트로피 유사체를 기반으로 한 지도 기반 메트릭 학습 알고리즘이 UCI 및 UMist 데이터셋에서 최신 기법들과 비교하여 일관되게 뛰어난 분류 오차율을 달성했다.
• UMist 얼굴 데이터셋에서, 알고리즘은 두 차원에서 얼굴 클래스를 잘 분리하는 의미 있는 선형 투영을 생성했으며, 그램 행렬이 공시행렬을 근사하는 경향을 보였다.
• 실험 결과, 높은 엔트로피 순서(α)는 단모드 해를 선호하는 반면, 낮은 α(예: 1.01)는 더 큰 유연성을 제공했으며, 시뮬레이션된 이중 모달 데이터셋에서 60회의 실행 중 58회가 더 분리 가능한 방향을 선택했다.
• 이 방법은 밀도 추정 없이도 UCI 기준 데이터 및 고차원 얼굴 영상 데이터를 포함한 다양한 데이터셋에서 뛰어난 강건성과 경쟁력을 보였다.