[논문 리뷰] Prototypal Analysis and Prototypal Regression

Chenyue Wu, Esteban G. Tabak|arXiv (Cornell University)|2017. 01. 31.

Time Series Analysis and Forecasting참고 문헌 37인용 수 10

한 줄 요약

이 논문은 원형 분석의 민감도 문제와 국소성 부족 문제를 완화하기 위해 복원 과정에서 먼 원형을 사용할 경우에 벌금을 부과함으로써 강건하고 국소적으로 민감한 원형 분석의 대안으로 원형 분석을 제안한다. 이 방법은 분포 데이터를 다룰 수 있도록 원형 회귀 및 커널화된 형태로 확장되어, 해석 가능하고 볼록각형 기반의 모델링을 가능하게 하며, 회귀 과제에서 강건성과 국소성을 향상시킨다.

ABSTRACT

Prototypal analysis is introduced to overcome two shortcomings of archetypal analysis: its sensitivity to outliers and its non-locality, which reduces its applicability as a learning tool. Same as archetypal analysis, prototypal analysis finds prototypes through convex combination of the data points and approximates the data through convex combination of the archetypes, but it adds a penalty for using prototypes distant from the data points for their reconstruction. Prototypal analysis can be extended---via kernel embedding---to probability distributions, since the convexity of the prototypes makes them interpretable as mixtures. Finally, prototypal regression is developed, a robust supervised procedure which allows the use of distributions as either features or labels.

연구 동기 및 목표

• 원형 분석의 한계, 특히 데이터 복원에서의 외곽값에 대한 민감도와 비국소성 문제를 해결한다.
• 복합 조합을 통해 해석 가능성을 유지하면서도 거리 기반의 벌금을 통해 국소성을 강제하는 새로운 방법을 개발한다.
• 원형 회귀를 도입하여 예측 변수의 원형을 반응 변수의 원형에 국소적으로 매핑함으로써 강건한 지도 학습을 가능하게 한다.
• 원형 분석을 확장하여 재생 핵 힐버트 공간(RKHS)에서의 커널 임베딩을 사용해 확률 분포를 데이터 포인트로 다룰 수 있도록 한다.
• 통합된 해석 가능한 프레임워크 내에서 수치형, 범주형, 분포형 데이터 유형을 모두 지원한다.

제안 방법

• 복원 과정에서 데이터 포인트에서 먼 원형을 사용할 경우에 벌금을 적용하기 위해, 거리에 따라 가중치가 부여된 L1 벌금 항을 최적화 목표에 도입한다.
• 원형 분석을 볼록 최적화 문제로 공식화하여 원형을 데이터 포인트의 볼록 조합으로, 데이터를 원형의 볼록 조합으로 복원한다.
• 확률 분포를 재생 핵 힐버트 공간(RKHS)에 맵핑하기 위해 커널 임베딩(커널 평균 임베딩)을 적용하여, 분포 데이터를 다룰 수 있도록 한다.
• 일차원 분포를 비교하기 위해 양의 정의 커널로 에너지 거리 커널을 사용하고, 정렬된 표본에 대해 선형 시간 알고리즘을 제공한다.
• 예측 변수와 반응 변수 양측에서 원형을 추출하고, 볼록 조합을 통해 국소적으로 매핑함으로써 원형 회귀를 개발한다.
• 볼록 조합에 기반함으로써 자연스럽게 혼합을 표현하고 국소 이웃에만 영향을 미치므로, 해석 가능성과 강건성을 확보한다.

실험 결과

연구 질문

• RQ1 원형 분석은 원형 분석의 외곽값에 대한 민감도를 줄이면서도 해석 가능성을 유지할 수 있는가?
• RQ2 복원 과정에서 국소성을 강제함으로써 원형 기반 방법의 회귀 과제에서의 적용 가능성이 어떻게 향상되는가?
• RQ3 원형 분석은 확률 분포를 데이터 포인트로 다룰 수 있도록 커널화될 수 있는가?
• RQ4 원형 회귀는 분포형 특징나 레이블을 포함한 혼합 유형 데이터 설정에서 기존 방법보다 얼마나 뛰어나게 성능을 발휘하는가?
• RQ5 일차원 분포에 적용했을 때, 커널화된 원형 방법의 계산 효율성은 어떠한가?

주요 결과

• 원형 분석은 먼 원형의 사용을 벌금으로 처벌함으로써 외곽값의 영향을 줄이고, 복원을 효과적으로 국소화함으로써 강건성을 향상시킨다.
• 이 방법은 λ = 0일 때 원형 분석과 λ → ∞일 때 k-means로 이르는 연속적인 무게 조정을 제공하여, 해석 가능성과 군집화 행동 사이의 균형을 조정할 수 있다.
• 원형 회귀는 실제 EPA 대기질 데이터를 통해 분포형 입력과 출력을 다루는 해석 가능하고 강건한 회귀를 가능하게 했다.
• 에너지 거리 커널은 표본이 정렬되어 있을 경우 일차원 분포의 커널 유사도를 선형 시간에 계산할 수 있게 하여, 복잡도를 O(nx ny)에서 O(nx + ny)로 감소시켰다.
• EPA 실외 대기질 데이터셋에 대해 다수의 원형 회귀를 적용한 결과, 시각적으로 정확한 외삽 성능을 보이며 NO2 밀도 분포를 성공적으로 예측했다.
• 재생 핵 힐버트 공간(RKHS)에서의 커널 임베딩을 통해, 원형 분석은 수치형, 범주형, 분포형 특징을 모두 포함한 혼합 데이터 유형을 지원한다.