[논문 리뷰] Direct Estimation of the Derivative of Quadratic Mutual Information with Application in Supervised Dimension Reduction

Voot Tangkaratt, Hiroaki Sasaki외 1명|arXiv (Cornell University)|2015. 08. 05.

Advanced Statistical Methods and Models참고 문헌 17인용 수 4

한 줄 요약

이 논문은 정확도가 떨어질 수 있는 QMI 추정의 유도 과정을 피하기 위해 이차 상호정보량(QMI)의 도함수를 직접 추정하는 방법을 제안한다. 이 방법은 정확도와 이상치에 대한 내성에서 기존 방법들을 능가하는 분포 자유형 차원 감소를 가능하게 하며, 특히 노이즈가 많거나 고차원인 데이터에서 뛰어난 성능을 발휘한다.

ABSTRACT

A typical goal of supervised dimension reduction is to find a low-dimensional subspace of the input space such that the projected input variables preserve maximal information about the output variables. The dependence maximization approach solves the supervised dimension reduction problem through maximizing a statistical dependence between projected input variables and output variables. A well-known statistical dependence measure is mutual information (MI) which is based on the Kullback-Leibler (KL) divergence. However, it is known that the KL divergence is sensitive to outliers. On the other hand, quadratic MI (QMI) is a variant of MI based on the $L_2$ distance which is more robust against outliers than the KL divergence, and a computationally efficient method to estimate QMI from data, called least-squares QMI (LSQMI), has been proposed recently. For these reasons, developing a supervised dimension reduction method based on LSQMI seems promising. However, not QMI itself, but the derivative of QMI is needed for subspace search in supervised dimension reduction, and the derivative of an accurate QMI estimator is not necessarily a good estimator of the derivative of QMI. In this paper, we propose to directly estimate the derivative of QMI without estimating QMI itself. We show that the direct estimation of the derivative of QMI is more accurate than the derivative of the estimated QMI. Finally, we develop a supervised dimension reduction algorithm which efficiently uses the proposed derivative estimator, and demonstrate through experiments that the proposed method is more robust against outliers than existing methods.

연구 동기 및 목표

• 지도 기반 차원 감소에서 QMI 도함수 추정에 의존하는 한계를 해결하기 위해, QMI 추정 자체는 정확하더라도 도함수 추정이 정확하지 않을 수 있음을 해결한다.
• QMI를 먼저 추정하지 않고 QMI 도함수를 직접 추정하는 방법을 개발하여 추정 정확도를 향상시킨다.
• 고차원 및 이상치에 민감한 데이터에 적합한 강건하고 분포 자유형 지도 기반 차원 감소 알고리즘을 개발한다.
• 교차 검증을 통한 객관적 하이퍼파rameter 튜닝을 가능하게 하여 실용적 적용성을 높인다.
• 광범위한 실험을 통해 기존 방법들에 비해 특히 이상치가 존재하는 환경에서 뛰어난 성능을 보임을 입증한다.

제안 방법

• QMI 도함수의 직접 추정을 위해 $L_2$-거리 기반 최소 제곱법을 사용하여 중간 단계의 QMI 추정을 피한다.
• 커널 기반 추정기와 리프레젠터 정리(Representer Theorems)를 활용해 QMI 도함수의 해석적 표현을 유도함으로써 효율적인 계산을 가능하게 한다.
• 직접 도함수 추정기를 사용하여 최적의 저차원 부분공간을 탐색하기 위한 고정점 반복 알고리즘을 설계한다.
• 교차 검증을 통합하여 튜닝 파rameter를 객관적으로 선택함으로써 강건성과 일반화 능력을 확보한다.
• 하류 예측을 위해 가우시안 커널을 사용한 커널 리지 회귀를 적용하고, 테스트 데이터의 RMSE를 통해 성능을 평가한다.
• 최적화 문제를 투영 부분공간에 대한 QMI 도함수를 최대화하는 방식으로 설정함으로써 기울기 기반 탐색이 가능하게 한다.

실험 결과

연구 질문

• RQ1 QMI 도함수의 직접 추정이 추정된 QMI의 도함수를 계산하는 것보다 더 정확한 결과를 얻을 수 있는가?
• RQ2 LSQMI의 도함수와 같은 간접 방법에 비해 제안된 직접 도함수 추정기는 정확도와 내성 면에서 어떻게 비교되는가?
• RQ3 제안된 지도 기반 차원 감소 방법은 기존 최첨단 방법들에 비해 이상치로 오염된 데이터셋에서 더 뛰어난 성능을 보일 수 있는가?
• RQ4 직접 도함수 추정기는 효율적으로 계산되어 부분공간 학습을 위한 반복 최적화 프레임워크에 통합될 수 있는가?
• RQ5 노이즈 특성이 추가된 다양한 벤치마크 데이터셋에서 이 방법은 성능 유지 정도가 어느 정도인가?

주요 결과

• QMI 도함수의 직접 추정기는 특히 노이즈가 많거나 이상치가 많은 환경에서 추정된 QMI 도함수보다 정확도 면에서 뚜렷한 우월성을 보였다.
• 50%의 노이즈 특성이 포함된 'Concrete' 데이터셋에서, 제안된 방법은 차원 수 1에서 RMSE 0.582(0.006)을 기록하여 LSQMI 및 dMAVE를 모두 능가했다.
• Bike 데이터셋에서는 차원 수 1에서 RMSE 0.036(0.005)를 기록하여 LSQMI 및 KDR에 비해 뚜렷한 성능 우월성을 보였다.
• 모든 벤치마크 데이터셋에서 일관된 강건성을 입증하였으며, LSDR, KDR, dMAVE와 비교해 'Fertility' 및 'Concrete' 데이터셋에서 평균 RMSE가 가장 낮았다.
• 차원 수 1에서 'Breast-cancer' 데이터셋에서 RMSE 0.375(0.007)을 기록하여 LSQMI 및 dMAVE를 모두 능가하는 최고의 성능을 달성했다.
• 직접 도함수 추정기를 사용한 고정점 반복 알고리즘은 안정적이고 효율적으로 수렴하여, 분포 가정 없이 효과적인 부분공간 탐색이 가능했다.