[論文レビュー] Oriented Boxes for Accurate Instance Segmentation

Patrick Follmann, Rebecca König|arXiv (Cornell University)|Nov 18, 2019

Advanced Neural Network Applications参考文献 27被引用数 8

ひとこと要約

本論文は、軸合わせバウンディングボックス（AABBs）の代わりに方向付きバウンディングボックス（OBBs）を用いた方向付きインスタンスセグメンテーション（OIS）を提案し、斜めに配置された、接触している、または重なっている物体に対してマスク精度を向上させる。オブジェクトの方向にプーリング領域を合わせることで、背景の干渉を低減し、マスクの一貫性を向上させ、D2SおよびScrewsではmAPを10–12%向上させる。Pill Bagsではマスクアノテーションの10%のみで、軸合わせベースラインを上回る性能を達成する。

ABSTRACT

State-of-the-art instance-aware semantic segmentation algorithms use axis-aligned bounding boxes as an intermediate processing step to infer the final instance mask output. This often leads to coarse and inaccurate mask proposals due to the following reasons: Axis-aligned boxes have a high background to foreground pixel-ratio, there is a strong variation of mask targets with respect to the underlying box, and neighboring instances frequently reach into the axis-aligned bounding box of the instance mask of interest. In this work, we overcome these problems by proposing to use oriented boxes as the basis to infer instance masks. We show that oriented instance segmentation improves the mask predictions, especially when objects are diagonally aligned, touching, or overlapping each other. We evaluate our model on the D2S and Screws datasets and show that we can significantly improve the mask accuracy by 10% and 12% mAP compared to instance segmentation using axis-aligned bounding boxes, respectively. On the newly introduced Pill Bags dataset we outperform the baseline using only 10% of the mask annotations.

研究の動機と目的

• 軸合わせバウンディングボックス（AABBs）の限界を解消することにより、背景対前景比が高く、マスク予測が不正確になる問題を是正すること。
• 斜めに配置された、細長い、または重なっているオブジェクトのマスク精度を向上させるために、マスク予測の基盤として方向付きバウンディングボックス（OBBs）を用いること。
• 高価なピクセル単位のマスクアノテーションの必要性を減らすために、OISがわずか10%のマスクアノテーションで優れた性能を達成できることを示すこと。
• 予測されたマスクを用いて方向付きボックス予測をより良く refining できるようにし、マスクとボックスの両方のmAPを向上させること。

提案手法

• マスクヘッドの入力として軸合わせボックス提案の代わりに方向付きボックス検出を用い、オブジェクトの方向に合わせて回転不変プーリングを行う。
• 既存のインスタンスセグメンテーションアーキテクチャ（例：Mask R-CNN、RetinaMask）を変更し、回転とアスペクト比に対応できるようにRoIプーリング層を調整する。
• 微分可能で微分可能な回転ヘッドを用いて各インスタンスの方向を予測し、OISのエンドツーエンド学習を可能にする。
• 重複する提案を減らすために、方向付きボックスに対して非最大抑制（NMS）を適用し、誤検出を低減する。
• 未アノテートのインスタンスのマスク損失重みを0に設定することで、スパarsなマスク監視を実現し、部分的監視を可能にする。
• 予測されたマスクを用いて方向付きボックス予測を改善する。マスクから再び方向を推定することで、ボックスmAPを向上させる。

実験結果

リサーチクエスチョン

• RQ1 方向付きバウンディングボックスは、斜めに配置されたまたは重なっているオブジェクトに対して、軸合わせボックスと比較してマスク精度を顕著に向上させることができるか？
• RQ2 方向付きインスタンスセグメンテーションは、高価なピクセル単位のマスクアノテーションの必要性をどの程度低減できるか？
• RQ3 OISから得られる予測マスクを用いて方向付きボックス検出を改善できるか？その場合、ボックスmAPはどの程度向上するか？
• RQ4 高相関性の高いオブジェクトと限られた変形を示す実世界の産業用データセットにおいて、OISはどの程度の性能を発揮するか？

主な発見

• D2Sデータセットでは、Mask R-CNNを用いた場合、マスクmAPが45%から55%に向上し、RetinaMaskを用いた場合も46%から55%に上昇し、相対的に10%の向上を達成した。
• Screwsデータセットでは、マスクmAPが41.5%から53.4%に上昇し、相対的に12%の向上を示した。また、マスク予測の一貫性が著しく向上した。
• Pill Bagsデータセットでは、マスクアノテーションの10%のみで、mAPが同等の水準に達し、軸合わせベースラインで100%のアノテーションを使用してもそれを上回った。
• OISから得られる予測マスクを用いて方向付きボックス検出を改善でき、Screwsではマスクから得た方向情報を用いることでボックスmAPが1.5%向上した。
• オブジェクトの方向にプーリング領域を合わせることで、背景の干渉とマスクのばらつきが低減され、より一貫性があり正確なマスクターゲットが得られた。
• 定性的な結果では、OISは、細長い物体や斜めに配置された物体に対して、軸合わせベースラインと比較して、より鋭く正確なマスクを生成した。