[論文レビュー] Zigzag Learning for Weakly Supervised Object Detection

Xiaopeng Zhang, Jiashi Feng+2 more|arXiv (Cornell University)|Apr 25, 2018

Advanced Neural Network Applications被引用数 25

ひとこと要約

本稿では、弱教師ありオブジェクト検出のための新規フレームワークであるZigzag Learning Detection Network (ZLDN) を提案する。この手法は、mEAS（平均エネルギー蓄積スコア）を用いて、容易な画像から難しい画像へと順次学習を行う。同時に、特徴マップのマスキングを導入することで、初期の誤検出（偽陽性）に過剰適合するのを防ぐ。本手法はPASCAL VOC 2007で47.6%のmAPを達成し、先行研究の最先端手法を顕著に上回った。

ABSTRACT

This paper addresses weakly supervised object detection with only image-level supervision at training stage. Previous approaches train detection models with entire images all at once, making the models prone to being trapped in sub-optimums due to the introduced false positive examples. Unlike them, we propose a zigzag learning strategy to simultaneously discover reliable object instances and prevent the model from overfitting initial seeds. Towards this goal, we first develop a criterion named mean Energy Accumulation Scores (mEAS) to automatically measure and rank localization difficulty of an image containing the target object, and accordingly learn the detector progressively by feeding examples with increasing difficulty. In this way, the model can be well prepared by training on easy examples for learning from more difficult ones and thus gain a stronger detection ability more efficiently. Furthermore, we introduce a novel masking regularization strategy over the high level convolutional feature maps to avoid overfitting initial samples. These two modules formulate a zigzag learning process, where progressive learning endeavors to discover reliable object instances, and masking regularization increases the difficulty of finding object instances properly. We achieve 47.6% mAP on PASCAL VOC 2007, surpassing the state-of-the-arts by a large margin.

研究の動機と目的

• 画像ラベルのみを用いた弱教師ありオブジェクト検出の課題に対処すること。これは、偽陽性の仮アノテーションにより局所化性能が低下し、過剰適合が生じるためである。
• 弱教師あり学習における「鶏とたまご」のジレンマを克服すること。正確な検出モデルは信頼できるオブジェクトインスタンスを必要とするが、信頼できるインスタンスは正確なモデルがなければ得られない。
• 局所化の難易度が低い順に順序付けられた画像から段階的に学習することで、モデルの汎化性能と検出精度を向上させること。
• 高レベル特徴マップにマスキング正則化を導入することで、初期の誤検出サンプルへの過剰適合を低減すること。

提案手法

• mEAS（平均エネルギー蓄積スコア）を用いて、ターゲットオブジェクトを含む画像の局所化難易度を自動的に測定・順位付けする基準を提案する。
• mEASが低い順に画像を入力することで、段階的な学習を実施し、容易な例から始めて堅牢な初期表現を構築する。
• 最後の畳み込み特徴マップにおける高応答領域をランダムに消去するマスキング正則化戦略を導入する。
• マスキング戦略により、ネットワークがより一貫性のある、判別性の低いオブジェクト部分に注目するよう促され、遮蔽されたサンプルを模擬することで耐性が向上する。
• 段階的学習とマスキング正則化を組み合わせ、それぞれの欠陥を補い合うジグザグ学習プロセスを構築する。
• バックプロパゲーション中にマスキング操作を適用することで、エンドツーエンドの学習を実現し、特徴学習と汎化性能を強化する。

実験結果

リサーチクエスチョン

• RQ1 自動的に測定された局所化難易度に基づく段階的学習戦略は、弱教師ありオブジェクト検出の性能向上に寄与するか？
• RQ2 容易な順から難しい順に画像を学習させることで、弱教師あり設定における信頼できるオブジェクトインスタンスの発見にどのような影響を与えるか？
• RQ3 特徴マップの高応答領域にマスキングを施すことで、初期の誤検出サンプルへの過剰適合を低減し、モデルの汎化性能を向上させられるか？
• RQ4 段階的学習と特徴マッピングのマスキングを組み合わせることで、既存の手法よりも高い検出精度と耐性が得られるか？

主な発見

• 提案されたZLDNモデルは、PASCAL VOC 2007で47.6%のmAPを達成し、以前の最先端手法（41.7%）を顕著に上回った。
• CorLocベンチマークでは、VOC 2007で61.2%の局所化精度を達成し、以前の最良手法より0.6ポイント高い結果を得た。
• PASCAL VOC 2012では、42.9%のmAPを達成し、以前のSOTA（38.3%）より4.6ポイント高い結果となった。
• 動物や車両の分類では、平均精度が60%以上に達するなど、優れた性能を示したが、背景がごちゃついた家具分類ではやや困難を示した。
• 誤差解析の結果、約30%の誤りは局所化の不正確さに起因しており、主にオブジェクト部分の誤検出や同じクラスの複数インスタンスの誤分類によるものであった。
• アブレーションスタディの結果、mEASに基づく段階的学習とマスキング正則化の両方が不可欠であることが確認され、いずれのコンponentを削除しても性能が著しく低下した。