[論文レビュー] Few-Cost Salient Object Detection with Adversarial-Paced Learning

Dingwen Zhang, Haibin Tian+1 more|arXiv (Cornell University)|Apr 5, 2021

Visual Attention and Saliency Detection被引用数 10

ひとこと要約

本稿では、画素単位のアノテーションが必要なトレーニング画像がわずかに限られた少数コストの顕著オブジェクト検出のための敵対的ペース学習（APL）フレームワークを提案する。ヒューリスティックな自己ペース正則化項に代わり、データ駆動型の敵対的メカニズムを用いて、偽ラベル付きピクセルに対して信頼性重みを動的に割り当てることで、1,000枚のアノテート済み画像のみを用いても、完全に教師ありのモデルと同等の性能を達成する。

ABSTRACT

Detecting and segmenting salient objects from given image scenes has received great attention in recent years. A fundamental challenge in training the existing deep saliency detection models is the requirement of large amounts of annotated data. While gathering large quantities of training data becomes cheap and easy, annotating the data is an expensive process in terms of time, labor and human expertise. To address this problem, this paper proposes to learn the effective salient object detection model based on the manual annotation on a few training images only, thus dramatically alleviating human labor in training models. To this end, we name this task as the few-cost salient object detection and propose an adversarial-paced learning (APL)-based framework to facilitate the few-cost learning scenario. Essentially, APL is derived from the self-paced learning (SPL) regime but it infers the robust learning pace through the data-driven adversarial learning mechanism rather than the heuristic design of the learning regularizer. Comprehensive experiments on four widely-used benchmark datasets demonstrate that the proposed method can effectively approach to the existing supervised deep salient object detection models with only 1k human-annotated training images. The project page is available at https://github.com/hb-stone/FC-SOD.

研究の動機と目的

• 深層顕著性検出における高いアノテーションコストを低減するため、手動でアノテートされた画像がわずかである状況でも効果的なモデル学習を可能にすること。
• 人為的に設計されたルールに依存するヒューリスティックな自己ペース学習正則化項の限界を克服し、低データ環境下での過小適合や誤った学習誘導を回避すること。
• 未ラベル画像から信頼性の高い偽ラベルを自動的に同定できる、データ駆動型の学習ペース制御メカニズムを構築すること。
• 少数コスト学習が完全に教師ありのモデルと同等の性能に近づけることを実証することにより、人的アノテーションの負担を顕著に軽減すること。

提案手法

• 自己ペース学習（SPL）を出発点とする敵対的ペース学習（APL）フレームワークを提案し、学習ペースをヒューリスティックな正則化項ではなく、敵対的学習によって推定する。
• 顕著性の構造と正解との整合性に基づいて、画像領域の信頼性スコアを計算するグローバル構造ガイド付きピクセル重み付け（PW）モジュールを導入する。
• 学習目的関数をミニマックスゲームとして定式化：ジェネレータが顕著性予測を生成し、ディスクラミネーターが本物（正解）マスクと偽物（偽ラベル）マスクを区別する。
• ディスクラミネーターの信頼性スコアを信頼性重みとして用い、顕著性ネットワークの学習をガイドし、高信頼度の偽ラベルを優先的に活用する。
• ヒューリスティックな重み割り当てに代わり、敵対的フィードバックによるデータ駆動型重み割り当てを用いた、SPLに類似した代替最適化戦略を実装する。
• PWモジュールをAPLフレームワークに統合し、偽ラベルの精錬過程で顕著オブジェクトの構造的整合性を維持する。

実験結果

リサーチクエスチョン

• RQ1 データ駆動型の学習ペース制御メカニズムは、少数コストの顕著オブジェクト検出において、ヒューリスティックな自己ペース正則化項を上回る性能を発揮できるか？
• RQ2 わずかに数枚のアノテート済み画像しか利用できない状況下で、敵対的学習は未ラベル画像から信頼性の高い偽ラベルを効果的に特定できるか？
• RQ3 たった1,000枚のアノテート済み画像で学習したモデルが、完全に教師ありのモデルとどの程度の性能を達成できるか？
• RQ4 提案されたAPLフレームワークは、ベースライン手法と比較して、偽ラベル生成過程で顕著オブジェクトの構造的忠実性を保っているか？
• RQ5 さまざまなラベルデータ比（例：1%、5%、10%）の下で、本手法のロバスト性はどの程度か？

主な発見

• 提案されたAPL手法は、1,000枚のアノテート済み画像での学習において、DUTS-TEデータセットで最大Fスコア0.863を達成し、既存の弱教師あり手法を上回る性能を示した。
• トレーニングデータの1%（1,000枚）のみを用いても、全データで学習した完全に教師ありモデルのmaxFスコアの95.48%に達した。
• アブレーションスタディの結果、従来の自己ペース学習手法は$γ$-正則化項がなければベースラインより性能が向上しないことが判明し、低データ環境下での一般化性能の悪さが示された。
• この結果は、データ駆動型の重み割り当てが、低データ環境下での学習の安定性を高めることの有効性を裏付けている。