[論文レビュー] Straight to Shapes++: Real-time Instance Segmentation Made More Accurate

Laurynas Miksys, Saumya Jetley+3 more|arXiv (Cornell University)|May 27, 2019

Advanced Neural Network Applications参考文献 37被引用数 4

ひとこと要約

本論文は、アーキテクチャの最適化とトレーニングの最適化を通じて、元のStraight to Shapes (STS) フレームワークを上回る精度を実現する、強化されたリアルタイムインスタンスセグメンテーションモデルであるSTS++を提案する。パラメータ共有、攻撃的なデータオーグメンテーション、構造的距離変換損失を統合することにより、STS++はPASCAL VOCで0.5 IoUにおけるmAPを19.7向上させつつ、リアルタイムの推論速度を維持した。

ABSTRACT

Instance segmentation is an important problem in computer vision, with applications in autonomous driving, drone navigation and robotic manipulation. However, most existing methods are not real-time, complicating their deployment in time-sensitive contexts. In this work, we extend an existing approach to real-time instance segmentation, called `Straight to Shapes' (STS), which makes use of low-dimensional shape embedding spaces to directly regress to object shape masks. The STS model can run at 35 FPS on a high-end desktop, but its accuracy is significantly worse than that of offline state-of-the-art methods. We leverage recent advances in the design and training of deep instance segmentation models to improve the performance accuracy of the STS model whilst keeping its real-time capabilities intact. In particular, we find that parameter sharing, more aggressive data augmentation and the use of structured loss for shape mask prediction all provide a useful boost to the network performance. Our proposed approach, `Straight to Shapes++', achieves a remarkable 19.7 point improvement in mAP (at IOU of 0.5) over the original method as evaluated on the PASCAL VOC dataset, thus redefining the accuracy frontier at real-time speeds. Since the accuracy of instance segmentation is closely tied to that of object bounding box prediction, we also study the error profile of the latter and examine the failure modes of our method for future improvements.

研究の動機と目的

• リアルタイムインスタンスセグメンテーションモデルStraight to Shapes (STS) の精度を向上させつつ、推論速度を損なわないこと。
• ディープラーニングアーキテクチャおよびトレーニングの最近の進展が、リアルタイムインスタンスセグメンテーションのパフォーマンス向上に活用可能かどうかを調査すること。
• オブジェクト検出およびセグメンテーション予測における失敗モードを分析し、今後の改善に役立てる。
• PASCAL VOCベンチマークにおけるリアルタイムインスタンスセグメンテーションの精度の限界を再定義すること。

提案手法

• 予測ヘッド間でのパラメータ共有を導入することで、一般化性能を向上させ、過学習を軽減する。
• ランダムスケーリング、クロッピング、カラージャンブルなどの攻撃的なデータオーグメンテーション戦略を適用し、視覚的変化に対する耐性を高める。
• 距離変換に基づく構造的損失関数を導入し、形状マスク予測の正則化を強化し、空間的一致性を向上させる。
• 448×448の入力画像から直接カテゴリ、位置、形状埋め込みを予測するマルチヘッド回帰ヘッドを採用する。
• 4096次元の固定特徴表現を、形状埋め込みのデコードに使用する深層回帰器の入力として用いる。
• 形状埋め込み空間における学習済みの逆写像を用いて、予測された形状埋め込みを2次元インスタンスマスクにデコードする。

実験結果

リサーチクエスチョン

• RQ1 ディープラーニングアーキテクチャおよびトレーニングの最近の進展は、リアルタイムインスタンスセグメンテーションの精度向上に効果的に転用可能か？
• RQ2 パラメータ共有と攻撃的なデータオーグメンテーションは、直接的な形状埋め込みに基づくインスタンスセグメンテーションモデルの性能にどのように影響するか？
• RQ3 距離変換に基づく構造的損失関数の使用が、マスク予測精度に与える影響は何か？
• RQ4 ボクセル予測の誤差パターンは、全体のインスタンスセグメンテーションパフォーマンスにどのように影響するか？
• RQ5 STS++モデルの主な失敗モードは何か。今後の研究でどのように是正できるか？

主な発見

• STS++は、PASCAL VOCデータセットにおける0.5 IoUで、元のSTSモデル比で19.7 mAPの向上を達成し、リアルタイムインスタンスセグメンテーションの新たな精度の限界を設定した。
• 攻撃的なデータオーグメンテーションの導入のみで、元のSTSモデル比でmAPが8.8ポイント向上した。
• パラメータ共有と構造的距離変換損失の両方が、性能向上に顕著な寄与を示しており、特に後者は予測マスクの空間的一致性を向上させた。
• STS++はリアルタイムの推論速度を維持しており、ハイエンドデスクトップで35 FPSで動作するため、時間制約のあるアプリケーションに適している。
• 連続的な形状埋め込み空間のおかげで、未学習カテゴリに対しても優れた一般化性能を示しており、実世界への展開において大きな利点となる。
• 失敗分析の結果、スケールおよび局所化の誤差が主なボトルネックであることが判明し、今後の向上の鍵は検出器の最適化にあると考えられる。