[논문 리뷰] Averaging orthogonal projectors

Eero Liski, Klaus Nordhausen외 2명|arXiv (Cornell University)|2012. 10. 09.

Advanced Statistical Methods and Models참고 문헌 19인용 수 5

한 줄 요약

이 논문은 차원 축소 방법의 다각적 접근에서 유사하지만 차원이 다른 부분공간을 가진 정사영자들을 평균화하기 위해 가중 거리 측도를 제안한다. 적응형 가중치를 사용해 Crone 및 Crosby 거리의 일반화를 통해, 다수의 기법의 장점을 결합한 평균 정사영자(AOP)를 생성하며, 비지도 및 지도 학습 설정에서의 시뮬레이션에서 개별 기법보다 뛰어난 성능을 보인다.

ABSTRACT

Dimensionality is a major concern in analyzing large data sets. Some well known dimension reduction methods are for example principal component analysis (PCA), invariant coordinate selection (ICS), sliced inverse regression (SIR), sliced average variance estimate (SAVE), principal hessian directions (PHD) and inverse regression estimator (IRE). However, these methods are usually adequate of finding only certain types of structures or dependencies within the data. This calls the need to combine information coming from several different dimension reduction methods. We propose a generalization of the Crone and Crosby distance, a weighted distance that allows to combine subspaces of different dimensions. Some natural choices of weights are considered in detail. Based on the weighted distance metric we discuss the concept of averages of subspaces as well to combine various dimension reduction methods. The performance of the weighted distances and the combining approach is illustrated via simulations.

연구 동기 및 목표

• 고차원 데이터에서 특정 유형의 구조만 탐지하는 개별 차원 축소 방법의 한계를 해결하기 위해.
• 서로 다른 부분공간 차원을 가진 다양한 차원 축소 기법에서 유도된 정사영자들을 통합할 수 있는 통합 프레임워크를 개발하기 위해.
• 다양한 질량을 가진 정사영자를 의미 있는 방식으로 평균화할 수 있도록 일반화된 거리 측도를 제안하기 위해.
• 비지도 및 지도 학습 설정에서의 시뮬레이션을 통해 제안된 평균화 방법의 성능을 평가하기 위해.

제안 방법

• Crone 및 Crosby 거리를 일반화하여, 서로 다른 차원을 가진 정사영자들 간의 비교 및 평균화를 가능하게 하는 가중 거리 측도를 도입한다.
• 평균화 과정에서 서로 다른 질량을 가진 부분공간의 영향을 균형 있게 조절하기 위해 두 가지 자연스러운 가중 함수 $w_b$ 및 $w_c$ 를 제안한다.
• 모든 입력 정사영자들로부터의 가중 거리의 합을 최소화하는 정사영자를 평균 정사영자(AOP)로 정의한다.
• 거리 공식의 핵심 구성 요소로 정사영자의 추적값과 부분공간 차원 비율을 사용한다.
• PCA, SIR, SAVE, PHD, IRE, FOBI, 및 PHDQ의 일곱 가지 차원 축소 방법에서 유도된 결과를 결합하기 위해 AOP 접근법을 적용한다.
• 진짜 정사영자와 추정 정사영자 간의 거리 측도를 사용하여, AOP의 성능을 시뮬레이션 연구를 통해 평가한다.

실험 결과

연구 질문

• RQ1 서로 다른 부분공간 차원을 가진 차원 축소 기법에서 유도된 정사영자를 어떻게 의미 있게 비교하고 평균화할 수 있는가?
• RQ2 다양한 차원 축소 결과를 조합할 때 최적의 성능을 내는 가중 함수는 무엇인가?
• RQ3 다양한 모델에서 AOP는 기존의 개별 차원 축소 방법보다 어떻게 기저 데이터 구조를 탐지하는 데 우월한가?
• RQ4 진짜 부분공간 차원이 알려지지 않았거나 추정된 경우 AOP는 어떻게 안정성을 유지하는가?
• RQ5 어떤 상황에서 AOP는 SIR, SAVE, 또는 PHD와 같은 개별 기법보다 뛰어난 성능을 보이는가?

주요 결과

• AOP는 다수의 기반 데이터 구조를 탐지하는 데서 항상 개별 차원 축소 방법보다 뛰어나며, 특히 SIR나 SAVE가 한 방향만 탐지하는 경우에 두드러진 성능을 보인다.
• 특히 혼합 종속성 유형이 존재하는 상황에서 $w_c$ 기반 AOP는 $w_b$ 기반 AOP보다 일반적으로 더 우수한 성능을 보인다.
• 모수 $k$를 추정한 AOP 추정치는 $k$를 알고 있는 경우와 거의 동일한 성능을 보이며, 차원의 잘못된 지정에 대해 안정성을 입증한다.
• 선형 종속성 모델(M2)에서는 AOP가 정확한 일차원 부분공간을 성공적으로 식별하는 반면, SIR과 IRE는 양호한 성능을 보이고 SAVE/PHD는 실패한다.
• 이차 종속성 모델(M3)에서는 AOP가 정확한 구조를 효과적으로 포착하는 반면, SIR과 IRE는 완전히 실패함을 확인하여, AOP가 열악한 추정치를 효과적으로 억제할 수 있음을 입증한다.
• PCA는 항상 성능이 열악하여 비지도 학습 특성과 반응 변수를 고려하지 않는 점으로 인해 나쁜 기준이 된다.