[論文レビュー] Extended T: Learning with Mixed Closed-set and Open-set Noisy Labels

Xiaobo Xia, Tongliang Liu+5 more|arXiv (Cornell University)|Dec 2, 2020

Machine Learning and Data Classification参考文献 68被引用数 24

ひとこと要約

本稿では、混合閉集合・開放集合ラベルノイズをモデル化するため、開放集合クラスを表すメタクラスを導入し、ノイズのあるデータからクラスタ固有の遷移行列を推定することで、クラスタ依存の拡張遷移行列（Extended T）を提案する。この手法は、ノイズラベルを含む現実世界の顔認識データセットにおいて、最先端の耐性を示し、高いノイズ率下でも従来手法を上回る精度を達成する。

ABSTRACT

The label noise transition matrix $T$, reflecting the probabilities that true labels flip into noisy ones, is of vital importance to model label noise and design statistically consistent classifiers. The traditional transition matrix is limited to model closed-set label noise, where noisy training data has true class labels within the noisy label set. It is unfitted to employ such a transition matrix to model open-set label noise, where some true class labels are outside the noisy label set. Thus when considering a more realistic situation, i.e., both closed-set and open-set label noise occurs, existing methods will undesirably give biased solutions. Besides, the traditional transition matrix is limited to model instance-independent label noise, which may not perform well in practice. In this paper, we focus on learning under the mixed closed-set and open-set label noise. We address the aforementioned issues by extending the traditional transition matrix to be able to model mixed label noise, and further to the cluster-dependent transition matrix to better approximate the instance-dependent label noise in real-world applications. We term the proposed transition matrix as the cluster-dependent extended transition matrix. An unbiased estimator (i.e., extended $T$-estimator) has been designed to estimate the cluster-dependent extended transition matrix by only exploiting the noisy data. Comprehensive synthetic and real experiments validate that our method can better model the mixed label noise, following its more robust performance than the prior state-of-the-art label-noise learning methods.

研究の動機と目的

• 閉集合と開放集合の両方のラベルノイズが同時に発生する状況を扱えない既存のラベルノイズ学習手法のギャップを埋める。
• 従来の遷移行列が開放集合ノイズに不適切であり、両者が共存する際に偏りを生じるという制限を克服する。
• クラス依存の近似ではなく、インスタンス依存のラベルノイズをよりよく近似するため、クラスタ依存の遷移行列を導入する。
• アンカーポイントを用いてメタクラスおよび真のクラスを特定することで、ノイズデータのみを用いた拡張遷移行列の不偏推定量を構築する。
• 合成データおよび現実世界のデータセットを用いて検証し、現実的で混合ラベルノイズ状況下での耐性を示す。

提案手法

• 開放集合クラスを表すメタクラスを導入し、従来の遷移行列がメタクラスを傍接的実体として扱うことで、開放集合ノイズをモデル化可能にする。
• 真のクラス（閉集合）およびメタクラス（開放集合）の各クラスタ内でアンカーポイントを特定し、遷移確率の信頼性ある推定を確保する。
• 各クラスタが固有の遷移行列を持つクラスタ依存の拡張遷移行列に従来の遷移行列を拡張し、局所的なノイズパターンを捉える。
• アンカーポイントの分布に基づき、ノイズデータのみを用いたクラスタ依存の拡張遷移行列の不偏推定量を設計する。
• 推定されたクラスタ依存の拡張遷移行列を用いて訓練損失を再重み付けし、混合ラベルノイズ下での統計的一貫性学習を可能にする。
• 深層学習モデルにこの手法を適用するため、推定された遷移行列を訓練目的関数に組み込み、ラベルノイズを補正する。

実験結果

リサーチクエスチョン

• RQ1 統一された遷移行列フレームワークは、同時に閉集合および開放集合ラベルノイズをモデル化できるか？
• RQ2 ノイズデータのみを用いて、拡張遷移行列の不偏推定量をどのように構築できるか？
• RQ3 クラスタ依存の遷移行列を用いてインスタンス依存のラベルノイズをモデル化することで、クラス依存の近似と比較して、どれほど耐性が向上するか？
• RQ4 提案手法は、現実的で混合ラベルノイズ状況下で、最先端のラベルノイズ学習手法を上回るか？
• RQ5 クラスタ数の変化が、複雑な現実世界のラベルノイズをモデル化する際の性能に与える影響はいかほどか？

主な発見

• MS1MV0データセットでは、Extended Tが平均91.51%の最高精度を達成し、2番目に良い手法（Extended T-2：91.38%）およびすべてのベースラインを上回った。
• VggFace-2では、Extended Tが平均91.30%の精度を達成し、Co-teaching+（89.40%）および T-Revision（90.99%）を上回り、低ノイズ率下でも耐性を示した。
• クラスタ依存の遷移行列は、特に高ノイズのMS1MV0において顕著な性能向上をもたらし、複雑なインスタンス依存ノイズのモデル化が改善された。
• Extended TはNLNLを常に上回り、複雑な現実世界のノイズ下で信頼できる補完ラベルの選択に困難を抱えるNLNLの性能劣化を克服した。
• クラスタリングの増加に伴う性能低下が最小限に抑えられており、低ノイズ設定下でのハイパーパramータ選択に対する安定性と耐性が示された。
• 実験的結果から、ノイズデータのみを用いた拡張遷移行列の推定量が不偏であり、ノイズパターンの推定に有効であることが確認された。