[논문 리뷰] FINE: Fisher Information Non-parametric Embedding

Kevin M. Carter, Raviv Raich외 2명|ArXiv.org|2008. 02. 14.

Neural Networks and Applications참고 문헌 22인용 수 8

한 줄 요약

FINE는 고차원 데이터를 저차원 유클리드 공간에 임bedding하는 비모수적 프레임워크를 제안한다. 이는 피셔 정보 계량을 사용하여, 자연스럽게 유클리드 표현이 존재하지 않는 경우에도 클러스터링, 분류, 시각화를 가능하게 한다. 비모수적 밀도 추정과 쿨백-라이블러 또는 할링거 발산을 통해 지오데식 거리를 근사함으로써, FINE는 문서 분류 및 생물의학 데이터 분석에서 경쟁적인 성능을 달성한다. 이는 임bedded 공간에서 선형 분류기조차도 효과적이다.

ABSTRACT

We consider the problems of clustering, classification, and visualization of high-dimensional data when no straightforward Euclidean representation exists. Typically, these tasks are performed by first reducing the high-dimensional data to some lower dimensional Euclidean space, as many manifold learning methods have been developed for this task. In many practical problems however, the assumption of a Euclidean manifold cannot be justified. In these cases, a more appropriate assumption would be that the data lies on a statistical manifold, or a manifold of probability density functions (PDFs). In this paper we propose using the properties of information geometry in order to define similarities between data sets using the Fisher information metric. We will show this metric can be approximated using entirely non-parametric methods, as the parameterization of the manifold is generally unknown. Furthermore, by using multi-dimensional scaling methods, we are able to embed the corresponding PDFs into a low-dimensional Euclidean space. This not only allows for classification of the data, but also visualization of the manifold. As a whole, we refer to our framework as Fisher Information Non-parametric Embedding (FINE), and illustrate its uses on a variety of practical problems, including bio-medical applications and document classification.

연구 동기 및 목표

• 자연스럽게 저차원 표현이 존재하지 않는 고차원 데이터에서 유클리드 다양체 가정의 한계를 해결하기 위해.
• 확률 밀도 함수(PDF)의 통계 다양체 위에 데이터가 존재한다고 모델링하기 위해 정보기하학을 활용하는 프레임워크를 개발하기 위해.
• PDF를 저차원 유클리드 공간에 임bedding하여 비유클리드 데이터의 차원 축소 및 시각화를 가능하게 하기 위해.
• 알려진 비모수적 모델이 필요 없이 피셔 정보 계량을 추정하는 비모수적 방법을 제공하기 위해.
• 플로우 세포측정 및 문서 분류와 같은 다양한 분야에서 프레임워크의 유용성을 입증하기 위해.

제안 방법

• 프레임워크는 비모수적 밀도 추정(예: 커널 밀도 추정)을 사용하여 데이터를 확률 밀도 함수(PDF)로 모델링한다.
• 지오데식 거리 간의 근사치로 쿨백-라이블러 및 할링거 거리와 같은 발산을 사용하여 피셔 정보 계량을 근사한다.
• 다양한 차원의 척도(MDS)를 추정된 거리 행렬에 적용하여 PDF를 저차원 유클리드 공간에 임bedding한다.
• 결과로 생성된 임bedding은 SVM 및 k-NN과 같은 표준 기계학습 기법을 사용한 분류 및 클러스터링을 지원한다.
• 메트릭 선택의 유연성이 있으며, 문제의 특성에 따라 적합한 메트릭을 선택할 수 있다.
• 프레임워크는 실세계 데이터에 적용되었으며, 생물의학적 플로우 세포측정 및 20 Newsgroups 텍스트 데이터셋을 포함한다.

실험 결과

연구 질문

• RQ1 정보기하학을 활용하여 비모수적 프레임워크가 고차원 비유클리드 데이터를 저차원 유클리드 공간에 효과적으로 임bedding할 수 있는가?
• RQ2 기본적인 비모수적 모델이 알려져 있지 않은 경우, KL 또는 할링거 발산을 통한 피셔 정보 계량 근사가 분류 작업에서 얼마나 잘 작동하는가?
• RQ3 FINE는 자연스럽게 유클리드 표현이 없는 데이터의 시각화 및 클러스터링을 어느 정도 가능하게 하는가?
• RQ4 낮은 표본 크기 및 높은 표본 크기의 환경에서, FINE의 성능은 디퓨전 커널과 같은 최첨단 기법과 비교해 어떻게 되는가?
• RQ5 FINE-임bedded 공간에서 단순한 선형 분류기가 전체 차원 데이터를 사용하는 방법과 경쟁적인 성능을 달성할 수 있는가?

주요 결과

• FINE는 임bedded 공간에서 선형 SVM을 사용함에도 불구하고, 20 Newsgroups 데이터셋에서 경쟁적인 분류 성능을 달성한다.
• FINE-임bedded 공간에서 비선형 SVM 커널(예: RBF)을 사용할 경우 분류 정확도가 더욱 향상되며, 이는 프레임워크가 분류에 유용한 구조를 유지하고 있음을 시사한다.
• 낮은 표본 크기 환경에서는 차원 축소의 효과와 차원의 저주 회피로 인해 FINE가 디퓨전 커널을 능가한다.
• 프레임워크는 플로우 세포측정 및 문서 분류와 같은 복잡한 데이터 다양체의 시각화를 PDF를 저차원 공간에 임bedding함으로써 성공적으로 가능하게 한다.
• 피셔 계량 근사를 위한 발산 선택(KL 또는 할링거)은 문제에 따라 달라지지만, 둘 다 효과적인 지오데식 거리 추정을 제공한다.
• FINE는 생물의학 데이터 및 텍스트 분류와 같은 다양한 응용 분야에서 강건하며, 자연스럽게 유클리드 표현이 없는 데이터에 대한 일반화 능력을 입증한다.