[論文レビュー] Semi-Supervised Recognition under a Noisy and Fine-grained Dataset

Cheng Cui, Zhi Ye+8 more|arXiv (Cornell University)|Jun 18, 2020

Advanced Neural Network Applications参考文献 9被引用数 4

ひとこと要約

本論文は、ノイズが多く、ラベル付きデータが限られた条件下で、偽ラベル付けとハイブリッドな汎用的・細分化された認識モデルを組み合わせた半教師ありアプローチを提示する。PaddleClasを用いたモデル訓練と、偽ラベル抽出による未ラベルデータの活用により、FGVC7コンテストで3位を達成し、微細な視覚的差異とデータノイズの処理において有効性を示した。

ABSTRACT

Simi-Supervised Recognition Challenge-FGVC7 is a challenging fine-grained recognition competition. One of the difficulties of this competition is how to use unlabeled data. We adopted pseudo-tag data mining to increase the amount of training data. The other one is how to identify similar birds with a very small difference, especially those have a relatively tiny main-body in examples. We combined generic image recognition and fine-grained image recognition method to solve the problem. All generic image recognition models were training using PaddleClas . Using the combination of two different ways of deep recognition models, we finally won the third place in the competition.

研究の動機と目的

• 最小限のラベル付きデータと高いノイズレベルを伴う細分化鳥類認識の課題に対処すること。
• 半教師あり設定において大規模な未ラベル付きデータを効果的に活用することで、モデルの一般化性能を向上させること。
• 視覚的に類似した鳥類種の間で小さなクラス間差異を区別する困難を克服すること。
• 汎用的画像認識と細分化認識の技術を統合し、特徴の識別能を向上させること。
• 限定的なアノテーションとノイズの多いデータを伴う実世界のコンテスト環境で高い性能を達成すること。

提案手法

• 未ラベルデータを掘り出して訓練プロセスに組み込むために偽ラベル付けを採用し、有効な訓練データサイズを拡大した。
• 事前学習済みの汎用的画像認識モデルと細分化認識アーキテクチャを組み合わせ、特徴学習を強化した。
• すべての汎用的モデルを、コンピュータビジョン向けのディープラーニングライブラリであるPaddleClasを用いて訓練した。
• 一般的および細分化された視覚的特徴を同時に最適化できる二重ストリームモデル設計を採用した。
• データオーグメンテーションと自己学習戦略を適用し、ノイズの多いサンプルに対する耐性を高めた。
• 訓練中に高信頼度の偽ラベルをフィルタリング・選択するために、モデルの信頼度スコアを活用した。

実験結果

リサーチクエスチョン

• RQ1 細分化認識において、半教師あり設定で未ラベルデータをどのように効果的に活用できるか？
• RQ2 汎用的および細分化認識モデルを組み合わせた場合、ノイズの多いデータ環境下での性能にどのような影響を与えるか？
• RQ3 深層学習を用いて、鳥類種の間で小さなクラス内差異を信頼性高く区別できるか？
• RQ4 偽ラベルの品質が半教師あり細分化分類に果たす役割は何か？
• RQ5 低教師あり・高ノイズ環境下で、ハイブリッドモデルアーキテクチャは単一アーキテクチャモデルを上回る性能を発揮できるか？

主な発見

• 提案手法はFGVC7コンテストで3位を達成し、厳しい条件下でも優れた性能を示した。
• 偽ラベル付けにより、高信頼度の予測を用いて有効な訓練セットを拡大することで、モデルの精度が顕著に向上した。
• 汎用的および細分化認識コンponentsを統合したハイブリッドモデルアーキテクチャは、単一アーキテクチャベースラインを上回った。
• PaddleClasの使用により、汎用的モデルの効率的かつ安定した訓練が可能になり、全体の性能向上に寄与した。
• ノイズの多いアノテーションや鳥類種間の微細な視覚的差異に対しても、本手法は耐性を示した。
• 高信頼度の偽ラベルは、誤り伝搬を引き起こさずに性能向上を維持するために不可欠であった。