[論文レビュー] Prototypal Analysis and Prototypal Regression

Chenyue Wu, Esteban G. Tabak|arXiv (Cornell University)|Jan 31, 2017

Time Series Analysis and Forecasting参考文献 37被引用数 10

ひとこと要約

本稿では、外れ値への感受性や非局所性の問題を緩和するために、再構成時に遠く離れたプロトタイプの使用をペナルティ化することで、局所的でロバストな、代替的アナロジーアナリシス（archetypal analysis）の代替手法として、プロトタイピカル分析（prototypal analysis）を導入する。この手法は、分布データを扱うためにカーネル化された形やプロトタイピカル回帰へと拡張され、解釈可能で凸包に基づくモデリングを可能にし、回帰タスクにおけるロバスト性と局所性が向上する。

ABSTRACT

Prototypal analysis is introduced to overcome two shortcomings of archetypal analysis: its sensitivity to outliers and its non-locality, which reduces its applicability as a learning tool. Same as archetypal analysis, prototypal analysis finds prototypes through convex combination of the data points and approximates the data through convex combination of the archetypes, but it adds a penalty for using prototypes distant from the data points for their reconstruction. Prototypal analysis can be extended---via kernel embedding---to probability distributions, since the convexity of the prototypes makes them interpretable as mixtures. Finally, prototypal regression is developed, a robust supervised procedure which allows the use of distributions as either features or labels.

研究の動機と目的

• アーキタイプ分析の限界、特に再構成における外れ値への感受性と非局所性を是正すること。
• 凸結合による解釈可能性を保ちつつ、距離に基づくペナルティによって局所性を強制する新しい手法の開発。
• プロトタイプの予測子から応答変数のプロトタイプへのマッピングを導入することで、プロトタイピカル回帰を用いたロバストな教師あり学習の実現。
• 再帰的ヒルバート空間（RKHS）におけるカーネル埋め込みを用いて、確率分布をデータポイントとして扱えるように、プロトタイピカル分析を拡張すること。
• 統一的かつ解釈可能なフレームワーク内で、数値、カテゴリカル、および分布的データタイプを統合すること。

提案手法

• 再構成時にデータポイントから遠く離れたプロトタイプの使用をペナルティ化するための最適化目的関数に、距離に依存する重みを備えたL1ペナルティ項を導入する。
• プロトタイプをデータポイントの凸結合として定式化し、データをプロトタイプの凸結合によって再構成する凸最適化問題としてプロトタイピカル分析を定式化する。
• 確率分布を再帰的ヒルバート空間（RKHS）に埋め込むことで、分布データを扱えるようにする。
• 1次元分布の比較に適した正定値カーネルとしてのエネルギー距離カーネルを用い、ソート済みサンプルに対して線形時間アルゴリズムを適用する。
• 予測子と応答変数の両方からプロトタイプを抽出し、凸結合による局所的マッピングを用いてプロトタイピカル回帰を構築する。
• 凸結合に依存することで、自然に混合を表現し、影響を局所的近傍に限定するため、解釈可能性とロバスト性を確保する。

実験結果

リサーチクエスチョン

• RQ1 プロトタイピカル分析は、外れ値への感受性を低下させつつ解釈可能性を維持できるか？
• RQ2 再構成における局所性の強制が、回帰タスクにおけるプロトタイプベース手法の適用性をどのように向上させるか？
• RQ3 プロトタイピカル分析はカーネル化可能であり、確率分布をデータポイントとして扱えるか？
• RQ4 混合タイプのデータ環境（分布的特徴量やラベルを含む）において、プロトタイピカル回帰は従来手法をどれほど上回るか？
• RQ5 1次元分布に適用した場合、カーネル化されたプロトタイピカル手法の計算効率はどの程度か？

主な発見

• プロトタイピカル分析は、遠く離れたプロトタイプの使用をペナルティ化することで、外れ値の影響を低減し、再構成の局所性を高め、ロバスト性を向上させる。
• この手法は、λ = 0 のときアーキタイプ分析、λ → ∞ のときk-meansに内挿する連続的なトレードオフを提供し、解釈可能性とクラスタリング行動の両立を可能にする。
• プロトタイピカル回帰は、分布的入力および出力を持つ解釈可能なロバスト回帰を可能にし、実際のEPAの大気質データでその有効性が実証された。
• エネルギー距離カーネルにより、ソート済みサンプルに対して1次元分布のカーネル類似度が線形時間で計算可能となり、計算量がO(nx ny)からO(nx + ny)に削減された。
• EPAの屋外大気質データセットに対して複数のプロトタイピカル回帰を適用した結果、NO2密度分布を視覚的に正確に予測する、出先の性能が得られた。
• カーネル埋め込みを用いることで、カテゴリカル、数値、分布的特徴を含む混合データタイプを、統一的かつ解釈可能なフレームワークで扱えるようになった。