[論文レビュー] Annotation-Free and One-Shot Learning for Instance Segmentation of Homogeneous Object Clusters

Zheng Wu, Ruicheng Chang+3 more|arXiv (Cornell University)|Feb 1, 2018

Advanced Vision and Imaging被引用数 7

ひとこと要約

本論文は、1つのオブジェクトの映像から合成された現実的なトレーニングデータを用いて、アノテーションフリーでワンショット学習による同種オブジェクトクラスタ（HOC）のインスタンスセグメンテーションを実現するフレームワークを提案する。構造に配慮した画像生成と照度変換を用いて、高品質な合成HOC画像を生成し、ベースライン手法に比べてmAP r @0.5で12.0%の向上を達成。また、新規に公開されたHOCデータセットにおいて、COCOで事前学習されたモデルを上回る性能を発揮した。

ABSTRACT

We propose a novel approach for instance segmen- tation given an image of homogeneous object clus- ter (HOC). Our learning approach is one-shot be- cause a single video of an object instance is cap- tured and it requires no human annotation. Our in- tuition is that images of homogeneous objects can be effectively synthesized based on structure and illumination priors derived from real images. A novel solver is proposed that iteratively maximizes our structured likelihood to generate realistic im- ages of HOC. Illumination transformation scheme is applied to make the real and synthetic images share the same illumination condition. Extensive experiments and comparisons are performed to ver- ify our method. We build a dataset consisting of pixel-level annotated images of HOC. The dataset and code will be published with the paper.

研究の動機と目的

• 密なオクルージョンを伴う同種オブジェクトクラスタ（HOC）のインスタンスセグメンテーションにおける高いアノテーションコストを低減すること。
• 人為的アノテーションデータセットを一切必要とせず、オブジェクトの1つの映像のみを用いてワンショット学習を可能にすること。
• 構造的レイアウトと照度の一貫性を保った、ピクセル単位の正確な合成HOC画像を生成すること。
• 200枚のアノテート済みHOC画像から構成される新規な公開データセットを用いて、本手法のベンチマークを実施すること。

提案手法

• 実際のHOC画像から構造的尤度関数を学習し、合成オブジェクトのクラスタレイアウトへの配置をガイドする。
• 合成画像と実画像の照度を一致させるための照度変換スキームを適用し、リアルさを向上させる。
• 構造的尤度を反復的に最大化する新しいソルバーを提案し、構造的に妥当な合成HOC画像を生成する。
• 人為的アノテーション例を一切使用せず、合成データ上でインスタンスセグメンテーションモデル（例：Mask R-CNN）を訓練する。
• 1オブジェクトの映像を入力として取り込み、エンドツーエンドの方法でマスクを抽出し、トレーニングデータを合成する。
• 構造的および照度的事前知識を統合し、オクルージョンに対する一般化性能とロバストネスを向上させる。

実験結果

リサーチクエスチョン

• RQ1 1つのオブジェクトの映像を用いて、トレーニング用に現実的でピクセルアノテート済みのHOC画像を合成可能か？
• RQ2 構造に配慮した画像生成は、ランダム配置と比較してセグメンテーション性能をどの程度向上させるか？
• RQ3 実画像と合成画像間の照度変換は、モデルの一般化性能と性能を向上させるか？
• RQ4 本手法は人為的アノテーショントレーニングデータが一切ない状況でも競争力のある性能を達成できるか？
• RQ5 COCOで事前学習されたモデルと比較して、本手法はHOCインスタンスセグメンテーションにおいてどの程度の性能を示すか？

主な発見

• 提案手法は、ランダムな合成画像を用いたベースライン手法に比べ、mAP r @0.5で12.0%の絶対的向上、mAP r @[0.5:0.95]で9.4%の向上を達成した。
• 照度変換は構造に配慮した合成と組み合わせた場合に顕著に性能向上をもたらすが、ランダム画像生成と組み合わせた場合は効果が薄い。
• 同じHOCデータセットにおいて、COCOで事前学習されたMask R-CNNを上回り、オレンジクラスでmAP r @0.5が90.0%、mAP r @[0.5:0.95]が84.0%を達成した。
• 定性的な結果から、本手法はベースラインと比較して部分的オクルージョンを有するインスタンスをより多く正しくセグメンテーションしていることが示され、オクルージョンパターンの有効なモデリングが可能であることが明らかになった。
• 図6に示すように、IoUのしきい値にかかわらず一貫したmAP rの向上が得られ、本手法はさまざまな重複度においても安定した性能を示した。
• アブレーションスタディの結果、構造モデリングと照度整合性の両方が最適な性能を達成するために不可欠であり、併用することで最大の向上が得られた。