[論文レビュー] Statistical Optimality of Interpolated Nearest Neighbor Algorithms

Yue Xing, Qifan Song+1 more|arXiv (Cornell University)|Oct 5, 2018

Face and Expression Recognition参考文献 12被引用数 7

ひとこと要約

本稿では、訓練データを正確に適合させるためのデータ依存型で正規化された多項式重みを用いることで、回帰および分類の両方でミニマックス最適収束速度を達成する補間近傍法（i-NN）アルゴリズムを提案する。過学習が生じるが、従来のk-NNよりもバイアスをより効果的に低減するため、同じ最適率であるにもかかわらず優れた経験的性能を示し、収束速度の乗法的定数が小さいことが示唆される。

ABSTRACT

In the era of deep learning, understanding over-fitting phenomenon becomes increasingly important. It is observed that carefully designed deep neural networks achieve small testing error even when the training error is close to zero. One possible explanation is that for many modern machine learning algorithms, over-fitting can greatly reduce the estimation bias, while not increasing the estimation variance too much. To illustrate the above idea, we prove that the proposed interpolated nearest neighbor algorithm achieves the minimax optimal rate in both regression and classification regimes, and observe that they are empirically better than the traditional $k$ nearest neighbor method in some cases.

研究の動機と目的

• 深層ニューラルネットワークのような過学習モデルが、訓練誤差がゼロであるにもかかわらず一般化性能を示す理由を理解すること。
• 補間近傍法が回帰および分類において統計的最適性を達成できるかを調査すること。
• 正確なデータ適合を保証しながら最適収束速度を維持する重み付けスキームを設計すること。
• さまざまな設定下で、補間近傍法と従来のk-NNの性能を経験的に比較すること。
• 近傍法における補間によるバイアス低減の理論的および実用的利点を探索すること。

提案手法

• i-NN推定器は、重みが $ w_i = \frac{\phi(\|x_{(i)}-x\| / \|x_{(k+1)}-x\|)}{\sum_{j=1}^k \phi(\|x_{(j)}-x\| / \|x_{(k+1)}-x\|)} $ で定義され、$ \phi $ は $ \lim_{t\to 0} \phi(t) = \infty $ を満たす正の関数であり、最近傍で適合が保証される。
• 重み関数 $ \phi $ は、条件 (A.0) に従うモーメント生成関数条件を満たすように選ばれ、理論的解析のための集中不等式が可能になる。
• 回帰推定器は $ \widehat{\eta}(x) = \sum_{i=1}^k w_i y(x_{(i)}) $、分類器は $ \widehat{g}(x) = \mathbf{1}\{ \widehat{\eta}(x) \geq 1/2 \} $ で定義され、$ \|x_{(i)}-x\| \to 0 $ のとき $ w_i \to 1 $ となるように適合が強制される。
• 理論的解析により、回帰における平均二乗誤差（MSE）のミニマックス最適性および分類におけるTsybakovのマージン条件下でのリスクバウンドが証明される。
• コンパクトおよび非コンパクトなサポート上でのシミュレーション、および実世界のHTRU2データを用いた実験により、MSEおよび超過リスクの比較を通じて手法の妥当性が検証される。
• 理論的裏付けは、$ \phi $ にモーメント生成関数条件が成り立つことで、非正規化重み平均のバインドが指数的集中性により可能になることに依存する。

実験結果

リサーチクエスチョン

• RQ1 訓練データを過学習する補間近傍法アルゴリズムは、回帰においてもミニマックス最適収束速度を達成できるか？
• RQ2 従来のk-NNと補間近傍法のバイアス・バリアンストレードオフはどのように異なるのか？ そして、後者の経験的優位性の背後にある要因は何か？
• RQ3 重み関数 $ \phi $ の選択が収束速度に影響を与えるか？ また、理論的最適性を保証するための $ \phi $ に必要な条件は何か？
• RQ4 補間近傍法がk-NNを上回る性能を示す理由は、収束速度の乗法的定数が小さいことに起因しているのか？
• RQ5 補間近傍法の理論的最適性は、非コンパクト空間や一般の距離空間設定へ拡張可能か？

主な発見

• 補間近傍法推定器は、標準的な滑らかさ条件およびマージン条件の下で、回帰および分類の両方においてミニマックス最適収束速度を達成する。
• 経験的結果から、非コンパクトなサポートを含む複数のシミュレーション設定において、補間近傍法はk-NNよりも常に低い平均二乗誤差および超過リスクを達成することが示された。
• 補間近傍法とk-NNが選ぶ最適なk値は非常に類似しており、性能向上がkの選択の違いによるものではなく、推定効率の向上に起因していることが示唆された。
• 補間近傍法の収束速度は、k-NNよりも乗法的定数が小さいため、同じ漸近的収束率であるにもかかわらず、経験的性能が優れている。
• 実世界のHTRU2データでは、kのすべてのテスト値において補間近傍法がk-NNを分類誤差の面で上回り、そのロバストネスと実用的利点が確認された。
• 理論的解析により、重み関数 $ \phi $ が条件 (A.0) を満たしていれば、補間が最適性を損なわないことが確認された。これにより、集中バウンドが保証される。