[論文レビュー] Self-Transfer Learning for Fully Weakly Supervised Object Localization

Sangheum Hwang, Hyoeun Kim|arXiv (Cornell University)|Feb 4, 2016

Advanced Neural Network Applications参考文献 25被引用数 28

ひとこと要約

本論文では、事前学習モデルやボクシングボックスアノテーションを必要とせず、分類ネットワークと局所化ネットワークを同時に最適化する完全に弱い教師ありオブジェクト検出フレームワークである自己転送学習（STL）を提案する。分類と局所化の間の損失比率を適応的に再重み付けすることで、STLは局所化ネットワークが特徴的な領域に注目できるようにし、チーティングX線およびマンモグラフィー画像データセットで最先端の性能を達成した。特に、結核検出では58%の相対的向上、マンモグラフィーでは242%の相対的向上を達成した。

ABSTRACT

Recent advances of deep learning have achieved remarkable performances in various challenging computer vision tasks. Especially in object localization, deep convolutional neural networks outperform traditional approaches based on extraction of data/task-driven features instead of hand-crafted features. Although location information of region-of-interests (ROIs) gives good prior for object localization, it requires heavy annotation efforts from human resources. Thus a weakly supervised framework for object localization is introduced. The term "weakly" means that this framework only uses image-level labeled datasets to train a network. With the help of transfer learning which adopts weight parameters of a pre-trained network, the weakly supervised learning framework for object localization performs well because the pre-trained network already has well-trained class-specific features. However, those approaches cannot be used for some applications which do not have pre-trained networks or well-localized large scale images. Medical image analysis is a representative among those applications because it is impossible to obtain such pre-trained networks. In this work, we present a "fully" weakly supervised framework for object localization ("semi"-weakly is the counterpart which uses pre-trained filters for weakly supervised localization) named as self-transfer learning (STL). It jointly optimizes both classification and localization networks simultaneously. By controlling a supervision level of the localization network, STL helps the localization network focus on correct ROIs without any types of priors. We evaluate the proposed STL framework using two medical image datasets, chest X-rays and mammograms, and achieve signiticantly better localization performance compared to previous weakly supervised approaches.

研究の動機と目的

• 医療画像のような分野では利用できないが、事前学習モデルに依存する既存の弱い教師ありオブジェクト検出手法の制限を解消すること。
• 画像ラベルのみを必要とし、事前の局所化情報や事前学習特徴量を一切使わない完全に弱い教師ありフレームワークの開発。
• 分類と局所化ネットワークを共同で訓練し、損失の重みを適応的に調整することで、局所化性能の向上を図ること。
• 本手法の有効性を、チーティングX線およびマンモグラフィーを含む実世界の医療画像タスクにおいて実証すること。

提案手法

• 分類タスクと局所化タスクの両方の交差エントロピー損失の重み付き和を用いて、分類ネットワークと局所化ネットワークを同時に最適化する。
• 制御可能なハイパーパrameter α が、訓練中に分類と局所化の相対的重要性を動的に調整する。
• 自己転送は、α を適応的に再重み付けすることで実現され、局所化ネットワークが最も特徴的な領域に注目できるように導く。
• 局所化ネットワークは、1×1畳み込み層の後にグローバルプーリング（最大値または平均）を適用し、オブジェクト検出用の活性化マップを生成する。
• 本手法は、事前学習重みやボクシングボックスアノテーションを一切使用せず、画像ラベルのみに依存する。
• 分類と局所化のブランチ間で畳み込み層を共有することで、同じネットワーク内での特徴転送を可能にする。

実験結果

リサーチクエスチョン

• RQ1 事前学習モデルやボクシングボックスアノテーションに依存しない完全に弱い教師ありオブジェクト検出フレームワークは、高い性能を達成できるか？
• RQ2 分類と局所化ネットワークを同時に最適化することで、独立して訓練する場合と比較して、局所化精度がどのように向上するか？
• RQ3 α を用いた適応的損失重み付けが、局所化ネットワークが良い局所最適解に収束する能力に与える影響は何か？
• RQ4 提案された自己転送メカニズムは、医療画像における特徴的な領域に局所化ネットワークを効果的に導けるか？
• RQ5 低コントラスト、アーチファクトが多発し、解剖学的に複雑な画像を含む挑戦的な医療画像タスクにおいて、本手法はどのように性能を発揮するか？

主な発見

• 深圳TBデータセットでは、平均プーリングを用いたSTLが、ベースライン比で局所化APを26%相対的に向上させた一方、分類APは2%向上した。
• MC TBデータセットでは、平均プーリングを用いたSTLが、局所化APで58%の相対的向上を達成した。分類APは17%向上した。
• マンモグラフィーでは、平均プーリングを用いたSTLが、高複雑性と低品質なトレーニングセットにもかかわらず、局所化APをベースライン比で242%向上させた。
• グローバル最大プーリングの場合、STLを用いないベースラインモデルは学習が失敗した（訓練損失の低下なし）ことが示され、提案手法のメカニズムがなければ収束が困難であることが明らかになった。
• 精度-再現率曲線および可視化結果から、STLは競合手法よりも正確で局所化精度の高い活性化マップを生成することがわかった。
• 2つの異なる医療画像データセットにおいて、分類と局所化の両方の指標で、本手法はすべてのベースラインを上回った。