[論文レビュー] The Resistance to Label Noise in K-NN and DNN Depends on its Concentration

Amnon Drory, Oria Ratzon+2 more|arXiv (Cornell University)|Mar 30, 2018

Machine Learning and Data Classification参考文献 34被引用数 5

ひとこと要約

本稿では、K-NNおよび深層ニューラルネットワーク（DNN）のラベルノイズに対する耐性が、訓練データ内のノイズの濃度に大きく依存することを提案している。ラベルノイズ下でのK-NN誤差について解析的表現を導出し、この表現がDNN性能の強力な一次近似として機能することを示しており、DNNは均等に広がったノイズには耐性を示すが、局所的に集中したノイズでは近傍の誤りラベルが優勢になるため失敗する。

ABSTRACT

We investigate the classification performance of K-nearest neighbors (K-NN) and deep neural networks (DNNs) in the presence of label noise. We first show empirically that a DNN's prediction for a given test example depends on the labels of the training examples in its local neighborhood. This motivates us to derive a realizable analytic expression that approximates the multi-class K-NN classification error in the presence of label noise, which is of independent importance. We then suggest that the expression for K-NN may serve as a first-order approximation for the DNN error. Finally, we demonstrate empirically the proximity of the developed expression to the observed performance of K-NN and DNN classifiers. Our result may explain the already observed surprising resistance of DNN to some types of label noise. It also characterizes an important factor of it showing that the more concentrated the noise the greater is the degradation in performance.

研究の動機と目的

• 高水準のノイズが存在する中で、DNNが特定のタイプのラベルノイズに対して驚くべき耐性を示す理由を理解すること。
• ラベルノイズの空間的濃度がK-NNおよびDNNの分類性能に与える影響を調査すること。
• ラベルノイズ下でのK-NN分類誤差について、解析的に取り扱える表現を導出することにより、モデル挙動の理論的予測を可能とすること。
• K-NNモデルがノイズのある訓練環境におけるDNN挙動の一次近似として機能することを検証すること。
• 周辺に基づくラベル統計と関連付けることで、既存のノイズ耐性学習手法に新たな洞察を提供すること。

提案手法

• 著者らは、局所的近傍のラベル分布に基づき、既知のラベルノイズプロセス下での多クラスK-NN分類誤差について、実現可能な解析的表現を導出した。
• 彼らは、DNNのソフトマックス出力が、各テスト例の局所的近傍の訓練例のラベル分布を反映していることを実験的に示し、K-NNの類似性を裏付けた。
• ノイズの濃度を変化させた合成ラベルノイズ（均等 vs. 局所的に集中）を用い、DNNを学習し、ノイズレベルごとの精度曲線を測定した。
• これらの実験的DNN曲線と、解析的に導出されたK-NN曲線を比較し、形状とトレンドの強い一致を確認した。
• MNIST、CIFAR-10、ImageNet ILSVRCの複数のデータセットでモデルを検証し、ノイズのある学習環境における近似の堅牢性を確認した。
• DNNの出力が誤り行列に類似しているのを観察し、蒸留に基づく学習手法と関連づけた。

実験結果

リサーチクエスチョン

• RQ1 ラベルノイズの空間的濃度は、K-NNおよびDNNの一般化性能にどのように影響するか？
• RQ2 ラベルノイズ下でのK-NN誤差についての解析的表現が、DNN挙動の一次近似として機能できるか？
• RQ3 なぜDNNは均等に広がったラベルノイズでは正確なままだが、局所的に集中したノイズでは劣化するのか？
• RQ4 DNNの予測が、暗黙の特徴空間における訓練例の局所的近傍にどれほど依存するか？
• RQ5 DNN出力で観察される周辺に基づくラベル分布は、既存のノイズ耐性学習手法とどのように関連しているか？

主な発見

• ラベルノイズ下でのK-NN誤差についての解析的表現は、MNIST、CIFAR-10、ImageNet ILSVRCを含む複数のデータセットにおいて、K-NNおよびDNNの性能を正確に予測できる。
• DNNは20%の均等に広がったラベルノイズ下で約100%の精度を達成するが、20%の局所的に集中したノイズ下では約80%の精度に低下し、ノイズの濃度が果たす重要な役割を示している。
• モデルは、局所的に集中したノイズでは耐性が崩壊することを予測しており、誤ったラベルが局所的近傍を支配する確率が上昇するためである。
• フリップノイズ設定では、ノイズ率が約50%に近づくと精度が著しく低下する。これは、正しいラベルが局所的近傍で過半数を占めなくなるためである。一方、均等ノイズでは、約90%までのノイズ率まで精度が維持される。
• 著者らは、DNNのソフトマックス出力が訓練例の局所的ラベル分布をエンコードしているのを観察し、DNN予測の周辺に基づく解釈を裏付けた。
• 本研究では、蒸留に基づく学習手法が、DNN出力がノイズ付きラベル下で誤り行列に類似していることから、誤り行列から学習していると暗黙的に学習していることが明らかになった。