[論文レビュー] SCNet: Training Inference Sample Consistency for Instance Segmentation

Thang Vu, Haeyong Kang+1 more|arXiv (Cornell University)|Dec 18, 2020

Advanced Neural Network Applications被引用数 7

ひとこと要約

SCNetは、インスタンスセグメンテーションにおける学習時と推論時のIoU分布の整合性を高めるためのサンプル一貫性トレーニング戦略を提案する。検出ヘッド出力の乖離を低減する。学習時と推論時においても最終検出ヘッドのみをマスク予測に使用することで、特徴リレイとグローバルコンテキストモデリングを組み合わせ、Cascade Mask R-CNNに比べマスクAPを2.3ポイント、ボックスAPを1.3ポイント向上させ、推論速度は38%高速化した。

ABSTRACT

Cascaded architectures have brought significant performance improvement in object detection and instance segmentation. However, there are lingering issues regarding the disparity in the Intersection-over-Union (IoU) distribution of the samples between training and inference. This disparity can potentially exacerbate detection accuracy. This paper proposes an architecture referred to as Sample Consistency Network (SCNet) to ensure that the IoU distribution of the samples at training time is close to that at inference time. Furthermore, SCNet incorporates feature relay and utilizes global contextual information to further reinforce the reciprocal relationships among classifying, detecting, and segmenting sub-tasks. Extensive experiments on the standard COCO dataset reveal the effectiveness of the proposed method over multiple evaluation metrics, including box AP, mask AP, and inference speed. In particular, while running 38\% faster, the proposed SCNet improves the AP of the box and mask predictions by respectively 1.3 and 2.3 points compared to the strong Cascade Mask R-CNN baseline. Code is available at \url{https://github.com/thangvubk/SCNet}.

研究の動機と目的

• 段階的インスタンスセグメンテーションモデルにおける学習時と推論時のIoU分布の不一致を解消すること。
• 学習サンプルが推論時と同じIoU分布を反映するようにすることで、一般化性能と検出精度を向上させること。
• 明示的な特徴フローとグローバルコンテキストモデリングにより、検出、分類、セグメンテーションのタスク間連携を強化すること。
• モデルの複雑性を増加させることなく、より高い精度と高速な推論速度を達成すること。

提案手法

• 学習時と推論時においても最終検出ヘッドの出力のみをマスク予測に使用することでサンプル一貫性を導入し、推論時のIoU分布と一致させる。
• 洗練されたボックス特徴をマスクブランチに明示的に転送するための特徴リレイを採用し、特徴レベルの相互作用を強化する。
• 長距離のコンテキスト特徴を提供するグローバルコンテキストブランチを組み込み、マスク予測のロバスト性を向上させる。
• ローカルとグローバルな監視のバランスを取るために、グローバルコンテキストブランチに学習可能な損失重みを導入する。
• 段階間で共有された特徴を用いたRoIAlignを適用し、冗長性を低減して推論を高速化する。
• すべてのコンポonentが共同で学習される統合ネットワークを設計し、インスタンスセグメンテーション性能を最適化する。

実験結果

リサーチクエスチョン

• RQ1 学習時と推論時のIoU分布の乖離がインスタンスセグメンテーション性能に与える影響は何か？
• RQ2 学習時にIoU分布を一致させることで、一般化性能と推論精度が向上するか？
• RQ3 検出ヘッドとセグメンテーションヘッド間の明示的特徴フローがセグメンテーション品質に与える影響は何か？
• RQ4 グローバルコンテキストモデリングは、曇りや隠蔽があるオブジェクトのマスク予測にどのように寄与するか？
• RQ5 サンプル一貫性とアーキテクチャ的強化を併用することで、精度と推論速度の両方を向上させられるか？

主な発見

• SCNetはCascade Mask R-CNNに比べ、マスクAPを2.3ポイント（37.4から39.8に）、ボックスAPを1.3ポイント（43.3から33.6に）向上させた。
• ベースラインより38%高速に動作し、有効なサンプル一貫性を活用することで6.5 fpsの推論速度を達成した。
• 特徴リレイは、計算コストをほとんど増加させずにCascade Mask R-CNNのマスクAPを0.6ポイント向上させた。
• 損失重みが3のグローバルコンテキストモデリングが最良のパフォーマンスを示し、グローバルコンテキストなしと比較してマスクAPを0.8ポイント向上させた。
• サンプル一貫性と特徴リレイを組み合わせることで、特徴リレイモジュールの数を3から1に削減し、性能を落とさずに効率性を向上させた。
• アブレーションスタディの結果、有効なサンプル一貫性が精度と速度の向上に不可欠であることが確認され、単純なサンプル一貫性を上回った。