[論文レビュー] A Topological Filter for Learning with Label Noise

Pengxiang Wu, Songzhu Zheng+3 more|arXiv (Cornell University)|Dec 9, 2020

Topological and Geometric Data Analysis被引用数 15

ひとこと要約

本論文では、潜在特徴空間におけるクリーンデータの空間的クラスタリングを利用することで、深層学習におけるラベルノイズをフィルタリングする新しいトポロジカル手法TopoFilterを提案する。各クラスごとに最大連結成分を繰り返し選択し、表現を精錬することで、純度とクリーンデータ収集の豊富さに関する理論的保証を伴いながら、CIFAR-10、CIFAR-100、および実世界のClothing1Mにおいて、多様なノイズ設定下で既存手法を上回る最先端のロバスト性を達成する。

ABSTRACT

Noisy labels can impair the performance of deep neural networks. To tackle this problem, in this paper, we propose a new method for filtering label noise. Unlike most existing methods relying on the posterior probability of a noisy classifier, we focus on the much richer spatial behavior of data in the latent representational space. By leveraging the high-order topological information of data, we are able to collect most of the clean data and train a high-quality model. Theoretically we prove that this topological approach is guaranteed to collect the clean data with high probability. Empirical results show that our method outperforms the state-of-the-arts and is robust to a broad spectrum of noise types and levels.

研究の動機と目的

• ラベルノイズが誤ったラベルの記憶によって深刻にモデル性能を低下させるという課題に対処すること。
• 予測の信頼性に依存する既存手法の限界を克服すること。これらの手法は理論的根拠に欠け、ノイズパターンの変化に対して一般化性に欠ける。
• クリーンサンプルが密集したクラスタを形成するのに対し、ノイズサンプルは孤立するという、潜在表現空間におけるデータの空間的トポロジカル構造を活用すること。
• クリーンデータ収集において純度を高く（慎重に）かつ豊富さを高く（積極的に）することを実現する手法を開発し、ロバストなモデル学習を保証すること。
• データ分布および表現に関する弱い仮定の下で、クリーンデータ収集に理論的保証を提供すること。

提案手法

• TopoFilterは、各クラスの特徴表現のk近傍グラフにおいて最大連結成分を検出することでクリーンデータを特定する。
• ノイズ分類器による歪んだ表現に強くならせるために、最大成分の外側の層を繰り返し剥がし、コア部分のみを保持する。
• 局所的接続性をモデル化するためにk近傍グラフを用い、kの値はデータ密度と検証性能に基づいて選定される。
• 表現学習とデータ選択を同時に最適化する：収集したクリーンデータ上でディープニューラルネットワークを再訓練することで、イテレーションを重ねるごとに特徴品質が向上する。
• 予測の信頼性や損失値に依存せず、連結成分というトポロジカル不変量を用いてデータ選択をガイドする。
• 理論的分析により、弱い仮定（コンactサポート、連続的条件付き分布、連結した意思決定領域）の下で、TopoFilterが高確率でクリーンデータを収集できることを証明している。

実験結果

リサーチクエスチョン

• RQ1 表現がラベルノイズによって歪んでも、潜在特徴空間におけるトポロジカル構造を信頼的に利用してクリーンデータとノイズデータを区別できるか？
• RQ2 トポロジカル接続性に基づくデータ選択手法は、信頼性ベースの手法を上回る純度と豊富さの両方を達成できるか？
• RQ3 さまざまなノイズタイプとレベルにわたり強い性能を維持する理論的根拠を持つラベルノイズフィルタリング手法は存在するか？
• RQ4 表現とデータ選択の反復的精錬は、ロバストで高精度なモデルへの収束をもたらすか？
• RQ5 実世界のノイズデータセット（例：Clothing1M）において、トポロジカルアプローチは最先端の手法と実験的に比較してどうか？

主な発見

• 60%の均一ノイズを含むCIFAR-10では、TopoFilterが74.10%のテスト精度を達成し、次に良い手法（PENCIL：73.49%）を上回り、新たな最先端を樹立した。
• ラベル正答率が61.54%と推定される実世界のClothing1Mデータセットでは、TopoFilterが10,000件のクリーンテストセットで74.10%の分類精度を達成し、SL、GCE、DYを含むすべてのベースラインを上回った。
• CIFAR-10およびCIFAR-100において、複数のノイズタイプとノイズレベルに対して一貫した優位性を示し、さまざまなノイズパターンに対してロバストであることがわかった。
• データ分布および表現に関する弱い仮定の下で理論的に示された純度と豊富さの両立を達成した。
• データ選択の計算コスト（k-NNおよび連結成分）は管理可能であり（1エポックあたり約25秒）、大規模学習において実用的である。
• 実験結果から、ノイズ学習による歪んだ表現が存在しても、トポロジカルな直観が成り立つことが確認され、本手法のロバスト性が裏付けられた。