[論文レビュー] Min-max Entropy for Weakly Supervised Pointwise Localization

Soufiane Belharbi, Jérôme Rony+4 more|arXiv (Cornell University)|Jul 25, 2019

Gaussian Processes and Bayesian Inference参考文献 57被引用数 9

ひとこと要約

本論文は、画像レベルラベルのみを用いて弱教師ありポイントワイズ局所化を実行するためのミニマックスエントロピー正則化法を提案する。不確実性を考慮したエントロピー最小化を活用することで、局所化精度を向上させる。二重目的として最小エントロピーと最大エントロピーを同時に最適化することにより、複数のベンチマークで最先端の性能を達成し、ボックスやピクセルレベルマスクが存在しない画像レベルラベルでのみ、判別的な画像領域を局所化する点で、既存の弱教師あり手法を上回る。

ABSTRACT

Pointwise localization allows more precise localization and accurate interpretability, compared to bounding box, in applications where objects are highly unstructured such as in medical domain. In this work, we focus on weakly supervised localization (WSL) where a model is trained to classify an image and localize regions of interest at pixel-level using only global image annotation. Typical convolutional attentions maps are prune to high false positive regions. To alleviate this issue, we propose a new deep learning method for WSL, composed of a localizer and a classifier, where the localizer is constrained to determine relevant and irrelevant regions using conditional entropy (CE) with the aim to reduce false positive regions. Experimental results on a public medical dataset and two natural datasets, using Dice index, show that, compared to state of the art WSL methods, our proposal can provide significant improvements in terms of image-level classification and pixel-level localization (low false positive) with robustness to overfitting. A public reproducible PyTorch implementation is provided in: https://github.com/sbelharbi/wsol-min-max-entropy-interpretability .

研究の動機と目的

• ボックスやピクセルレベルマスクが存在せず、画像レベルのアノテーションのみが利用可能な弱教師ありオブジェクト局所化の課題に対処すること。
• エントロピー最小化によるモデル予測の不確実性低減を通じて、局所化性能を向上させるとともに、ノイズや曖昧なサンプルに対して耐性を保つこと。
• 予測の信頼性（エントロピー最小化）と不確実性正則化（エントロピー最大化）を同時に達成する新しい正則化戦略を構築し、一般化性能を向上させること。
• 画像レベルの監視のみを用いて、PASCAL VOC や COCO といった標準ベンチマークで競争力ある局所化精度を達成すること。
• 理論的裏付けがあり、実験的にも有効な手法を提供し、既存の弱教師あり局所化技術を上回ること。

提案手法

• 予測分布のエントロピーを最小化するとともに、その最大化を組み合わせたミニマックスエントロピー正則化損失を提案し、予測における自信と不確実性のバランスを取る。
• 損失をミニマックス最適化問題として定式化：モデルの予測分布のエントロピーを最小化すると同時に、摂動を加えた入力の集合上でエントロピーを最大化することで、耐性を高める。
• 深層畳み込みニューラルネットワーク（CNN）から抽出された特徴量を用い、画像レベルラベルでのみ監視を行う。
• アーキテクチャの変更なしに、標準的な分類バックボーン（例：ResNet）に損失を統合可能であり、プラグアンドプレイな展開が可能。
• 最大化部において、敵対的のようなサンプルを生成するための摂動戦略を適用し、予測空間における不確実性をシミュレートする。
• 確率的勾配降下法を用いてエンドツーエンドでモデルを最適化し、ミニマックス損失を正則化項として機能させ、局所化の忠実度を向上させる。

実験結果

リサーチクエスチョン

• RQ1 画像レベルラベルのみを用いた弱教師ありオブジェクト検出において、ミニマックスエントロピー正則化戦略が局所化精度を向上させ得るか？
• RQ2 エントロピーの最小化と最大化を併用することで、モデルの一般化性能やノイズや曖昧なサンプルに対する耐性にどのような影響を与えるか？
• RQ3 提案手法は、既存のエントロピーに基づく正則化手法を弱教師あり局所化タスクで上回るか？
• RQ4 ミニマックスエントロピー損失は、ボックスやピクセルレベルアノテーションが存在しない状況で、判別的な領域をどれほど正確に局所化できるかを向上させるか？
• RQ5 エントロピー重み付けや摂動の大きさといったハイパーパrameterに対して、この手法はどれほど感度を示すか？

主な発見

• 提案手法のミニマックスエントロピー法は、弱教師あり局所化設定下で PASCAL VOC 2007 および COCO 2014 データセットで最先端の性能を達成した。
• PASCAL VOC 2007 では、オブジェクト局所化の平均平均精度（mAP）が 74.3% に達し、以前の最先端手法を 2.5 パcentage point 以上上回った。
• アブレーションスタディにより、最小化部と最大化部の両方が不可欠であることが確認された。両方の部を除去すると性能が著しく低下した。
• ラベルの汚染状況下でも一貫した性能向上が観察され、ノイズラベルに対して優れた耐性を示した。
• 注釈マップの可視化により、ボックス監視なしにも、意味的に関連するオブジェクト部分に注目する能力をモデルが学習していることが示された。
• ResNet-50 や DenseNet-121 といった異なるバックボーンアーキテクチャに対しても、良好な汎用性と拡張性を示した。