[論文レビュー] Minimax-optimal semi-supervised regression on unknown manifolds

Amit Moscovich, Ariel Jaffe+1 more|arXiv (Cornell University)|Nov 7, 2016

Face and Expression Recognition参考文献 8被引用数 14

ひとこと要約

本稿では、地表面距離をラベル付きおよびラベルなしデータを用いて推定し、その距離に基づいてkNN回帰を適用する半教師あり手法である地表面kNN回帰を提案する。十分な数のラベルなしデータが利用可能な場合、未知の多様体上でのリプシッツ回帰において、最小最大最適な有限標本誤差率を達成することが証明され、従来のkNNおよびラプラシアン固有ベクトル手法よりも精度と速度で優れている。

ABSTRACT

We consider semi-supervised regression when the predictor variables are drawn from an unknown manifold. A simple two step approach to this problem is to: (i) estimate the manifold geodesic distance between any pair of points using both the labeled and unlabeled instances; and (ii) apply a k nearest neighbor regressor based on these distance estimates. We prove that given sufficiently many unlabeled points, this simple method of geodesic kNN regression achieves the optimal finite-sample minimax bound on the mean squared error, as if the manifold were known. Furthermore, we show how this approach can be efficiently implemented, requiring only O(k N log N) operations to estimate the regression function at all N labeled and unlabeled points. We illustrate this approach on two datasets with a manifold structure: indoor localization using WiFi fingerprints and facial pose estimation. In both cases, geodesic kNN is more accurate and much faster than the popular Laplacian eigenvector regressor.

研究の動機と目的

• ラベルなしデータが未知の多様体上に存在する半教師あり回帰において、有限標本における利点を明らかにすること。
• 未知の多様体上での単純な二段階手法（地表面距離推定 → kNN回帰）が、最小最大最適性を達成することを確立すること。
• ゴールドバーグら（2009年）の予想（未知の多様体上での半教師あり学習が、ホルダー関数に対して最小最大レートを達成可能）を、リプシッツの場合に証明することで解決すること。
• 地表面kNNがスペクトル的手法（例：ラプラシアン固有ベクトル回帰）と比較して、計算効率と実験的優位性を示すこと。

提案手法

• すべてのラベル付きおよびラベルなし点の間で、環境距離度量を用いてスパースかつ対称的なk近傍近傍グラフを構築する。
• グラフ上の最短経路距離を計算して、すべての点のペア間の地表面距離を推定する。
• 推定された地表面距離を用いてkNN回帰を適用し、ある点の予測値は、そのk個の地表面近傍点のラベルの平均値とする。
• わずかな摂動（ε）を加えた対称的kNNルールを用い、より短い経路を優遇することで、距離推定のロバスト性と安定性を確保する。
• グラフ構造を活用して、すべての予測をO(kN log N)の計算量で行えるようにし、スケーラビリティを実現する。
• 比較のためグラフラプラシアンを用いるが、実際の計算では地表面kNNが著しく高速であることを示す。

実験結果

リサーチクエスチョン

• RQ1 データが未知の低次元多様体上に存在する場合、ラベルなしデータが半教師あり回帰において有限標本の利点を提供できるか？
• RQ2 地表面距離推定とkNN回帰の二段階手法が、未知の多様体上でのリプシッツ関数に対して最小最大最適な誤差率を達成できるか？
• RQ3 地表面kNNの性能は、ラプラシアン固有ベクトル回帰のようなスペクトルベース手法と比較して、精度および計算コストの面でどのように異なるか？
• RQ4 地表面kNN手法が高確率で最小最大最適性を達成するために必要なラベルなし点の数はどの程度か？

主な発見

• ラベルなし点の数が十分に大きい場合、地表面kNN回帰は、未知の多様体上でのリプシッツ回帰において、最小最大最適な有限標本平均二乗誤差バウンドを達成する。
• 屋内位置特定および顔の姿勢推定のタスクにおいて、標準kNNおよびラプラシアン固有ベクトル回帰と比較して、精度と速度の両面で優れている。
• ラプラシアン固有ベクトルを計算するのと比較して、グラフの最短経路による地表面近傍点の計算は、素朴なPython実装でも数個のオーダーも高速である。
• 地表面kNN手法は計算的に効率的であり、すべてのN点の回帰推定にO(kN log N)の計算量で十分である。
• 多様体構造に対してロバストであり、環境次元が高くても、内部次元が低ければ良好に動作する。
• シミュレーテッドおよび実際のWiFiフィンガープrintデータを用いた実験結果から、地表面kNNがベースライン手法と比較して優れた位置特定精度を達成することが確認された。