[論文レビュー] Transfer Learning by Ranking for Weakly Supervised Object Annotation

Zhiyuan Shi, Parthipan Siva+1 more|arXiv (Cornell University)|May 2, 2017

Advanced Image and Video Retrieval Techniques参考文献 16被引用数 17

ひとこと要約

本論文は、オブジェクト位置順序付けを転移学習問題として定式化することで、弱教師ありオブジェクトアノテーションのための新しい転移学習手法を提案する。アノテーションの質を推定するために外見の類似性を活用し、関連のないオブジェクトカテゴリを持つ補助データセットで訓練されたモデルを、正解とのオーバーラップ順位の予測に転移することで、PASCAL VOC 2007 データセットにおいて、最先端の弱教師あり手法を著しく上回る性能を達成する。

ABSTRACT

Most existing approaches to training object detectors rely on fully supervised learning, which requires the tedious manual annotation of object location in a training set. Recently there has been an increasing interest in developing weakly supervised approach to detector training where the object location is not manually annotated but automatically determined based on binary (weak) labels indicating if a training image contains the object. This is a challenging problem because each image can contain many candidate object locations which partially overlaps the object of interest. Existing approaches focus on how to best utilise the binary labels for object location annotation. In this paper we propose to solve this problem from a very different perspective by casting it as a transfer learning problem. Specifically, we formulate a novel transfer learning based on learning to rank, which effectively transfers a model for automatic annotation of object location from an auxiliary dataset to a target dataset with completely unrelated object categories. We show that our approach outperforms existing state-of-the-art weakly supervised approach to annotating objects in the challenging VOC dataset.

研究の動機と目的

• オブジェクト検出における手動アノテーション作業を減らすために、バイナリ画像レベルラベルのみを用いた弱教師あり学習を可能にすること。
• 正解が入手不可能な状況において、ごみだらけの画像で顕著な領域から正確なオブジェクト位置を特定する課題に対処すること。
• 関連のないオブジェクトカテゴリを持つ補助データセットからの転移学習が、弱教師ありオブジェクトアノテーションを改善できるかを検討すること。
• 外見の類似性に基づいて、顕著な領域と正解との重複度の順位を予測する順位付けタスクとして問題を定式化すること。
• 順位付けに基づく転移学習が、既存の最先端の弱教師ありアプローチを上回ることを実証すること。

提案手法

• 本手法は、完全にアノテートされたオブジェクト位置を持つ補助データセットから、関連のないカテゴリを持つターゲットデータセットへ知識を転移する、オブジェクトアノテーションを転移学習問題として定式化する。
• 顕著な領域の外見類似性と正解とのオーバーラップの間のマッピングを、ラーニング・トゥ・ランクフレームワークを用いてモデル化する。
• 順位付けモデルは外見特徴（例：BoWヒストグラム）を入力とし、真のオブジェクト位置との期待オーバーラップに基づいて、候補領域の相対的順位を予測する。
• ペairワイズ順位付け損失を用いて、補助データセット上でモデルを訓練し、正解とのオーバーラップが大きい領域がより高い順位に来るように促進する。
• 訓練されたモデルをターゲットデータセットに適用し、候補となる顕著な領域を順位付けし、最も高い順位の領域を予測されたオブジェクト位置として選択する。
• オブジェクトネスやSivaとXiang（2011）の手法と同様にスコアレベルの融合により性能が向上し、特にオブジェクトネスと組み合わせると顕著な向上が得られる。

実験結果

リサーチクエスチョン

• RQ1 関連のないオブジェクトカテゴリを持つ補助データセットからの転移学習が、ターゲットデータセットにおける弱教師ありオブジェクトアノテーションを改善できるか？
• RQ2 オブジェクトカテゴリに依存せずに、顕著な領域の外見類似性と正解とのオーバーラップの間に一貫したマッピングが存在するか？
• RQ3 分類ではなく順位付けタスクとしてアノテーション問題を定式化することで、弱教師ありオブジェクト検出の性能が向上するか？
• RQ4 提案手法の順位付けベースの転移学習は、標準ベンチマーク上で最先端の弱教師あり手法と比較してどのように性能を発揮するか？
• RQ5 提案手法は、既存のサリエンシーまたはマルチインスタンス学習手法と効果的に組み合わせられ、さらなる性能向上が達成できるか？

主な発見

• 提案された順位付けベースの転移学習モデルは、PASCAL VOC 2007 AllView データセットで平均平均精度（mAP）32.13%を達成し、以前の最先端手法を上回った。
• オブジェクトネススコアと融合させた場合、SingleView データセットで最高の性能（mAP 39.74%）を記録し、SivaとXiang（2011）およびDeselaersら（2010）の両方を上回った。
• 重複度を2クラス（高 vs. 低）に簡略化した2Rankモデルは、完全な順位付けモデルに比べて著しく性能が劣っており、順位付け定式化の重要性を示している。
• 補助データセットで訓練された汎用オブジェクト検出器は性能が低く（mAP 7.42%）、分類の直接的転送には限界があることを示している。
• 順位付けモデルは非順位付けバイナリSVMベースライン（mAP 20.45% 対 30.89%）よりも優れており、このタスクでは順位付けが分類よりも有効であることを確認した。
• 本手法は一般化性能が高く、より単純なSingleViewデータセットでも競争力のある結果を示し、既存手法と融合することで一貫した向上が得られた。