[論文レビュー] Iterative Instance Segmentation

Ke Li, Bharath Hariharan+1 more|arXiv (Cornell University)|Nov 26, 2015

Advanced Neural Network Applications参考文献 31被引用数 18

ひとこと要約

この論文は、明示的な構造的制約なしに、データから形状、連結性、輪郭の滑らかさの事前知識を暗黙的に学ぶ反復的深層学習フレームワークを提案する。複数段階にわたり予測を改善することで、PASCAL VOC 2012 において 50% のオーバーラップで 63.6% の mAP^r、70% のオーバーラップで 43.3% の mAP^r を達成し、最先端の性能を実現した。

ABSTRACT

Existing methods for pixel-wise labelling tasks generally disregard the underlying structure of labellings, often leading to predictions that are visually implausible. While incorporating structure into the model should improve prediction quality, doing so is challenging - manually specifying the form of structural constraints may be impractical and inference often becomes intractable even if structural constraints are given. We sidestep this problem by reducing structured prediction to a sequence of unconstrained prediction problems and demonstrate that this approach is capable of automatically discovering priors on shape, contiguity of region predictions and smoothness of region contours from data without any a priori specification. On the instance segmentation task, this method outperforms the state-of-the-art, achieving a mean $\mathrm{AP}^{r}$ of 63.6% at 50% overlap and 43.3% at 70% overlap.

研究の動機と目的

• 既存のピクセル単位のラベル付け手法が構造的制約を無視するため、視覚的に不自然な予測が生じるという限界を解消すること。
• 構造的形状の手動指定なしに、データから形状事前知識、領域の連結性、輪郭の滑らかさを自動で発見すること。
• 反復的予測の改善によって、暗黙的な構造的事前知識を学習し、インスタンスセグメンテーションの精度を向上させること。
• 反復的予測が、高階層のポテンシャルを明示的にモデル化せずに、形状のような複雑な高レベルのヒントを暗黙的に学べることを示すこと。
• カテゴリの文脈に基づいて、曖昧な入力からも合理的なオブジェクト形状を想起できるかどうかを検証すること。

提案手法

• インスタンスセグメンテーションを、各ステップが直前のステップの誤りを是正する、制約のない予測ステップの系列に分解する。
• 深層ニューラルネットワーク（ハイパーカラムネットワーク）を用いて、オブジェクト候補の初期セグメンテーション予測を生成する。
• 現在の予測と入力画像を再びネットワークにフィードバックすることで、反復的な改善を実現する。
• refined 予測と正例マスクの差を最小化するように、ネットワークをエンドツーエンドで学習する。
• 複数段階にわたる誤り是正を通じて、形状、連結性、滑らかさといった構造的事前知識が暗黙的に学習される。
• 標準的なインスタンスセグメンテーション指標（50% および 70% の IoU 閾値における AP^r）を用いて、PASCAL VOC 2012 でモデルを評価する。

実験結果

リサーチクエスチョン

• RQ1 反復的予測は、制約の明示的モデル化なしに、形状や輪郭の滑らかさといった暗黙的な構造的事前知識を学べるか？
• RQ2 反復的改善は、標準的な1段階予測手法を上回るインスタンスセグメンテーション性能を実現するか？
• RQ3 モデルは、カテゴリラベルに基づいて、視覚的特徴が欠落した曖昧な画像パッチからも合理的なオブジェクト形状を想起できるか？
• RQ4 すでに精度の高い検出結果に対して、この手法はどの程度予測を改善できるか？
• RQ5 特に複数のインスタンスが密集したシーンにおいて、オブジェクトの局所化や外観の変動に対して、この手法は頑健か？

主な発見

• PASCAL VOC 2012 の検証セットにおいて、50% の IoU オーバーラップで 63.6% の mAP^r、70% の IoU オーバーラップで 43.3% の mAP^r を達成し、最先端の性能を上回った。
• ベースラインのハイパーカラムネットワークが既に約 75% のオーバーラップを達成している検出に対して、提案手法は多くの場合で 90% を超えるオーバーラップに向上させ、強力な是正能力を示した。
• 反復手法を用いることで、76% の検出で正例とのオーバーラップが向上した一方、劣化したのはたった 15.6% にとどまった。
• カテゴリラベルに基づいて、鳥の翼、馬の脚、自転車のフレームといった合理的なオブジェクト形状を、入力パッチに該当する視覚的特徴が欠落していても成功裏に想起した。
• 反復フレームワークにより、形状、領域の連結性、輪郭の滑らかさに関する事前知識を、これらの性質に明示的な教師信号なしに自動で学習・適用できるようになった。
• 反復ステップ間での誤り是正が、高レベルの構造的制約を暗黙的に捉えることができ、より視覚的に自然で正確なインスタンスセグメンテーションを実現した。