[論文レビュー] Occluded Video Instance Segmentation: A Benchmark

Jiyang Qi, Yan Gao+8 more|arXiv (Cornell University)|Feb 2, 2021

Multimodal Machine Learning Applications被引用数 8

ひとこと要約

本論文は、25のカテゴリにわたり296kのインスタンスマスクを含み、重度のオクルージョンを特徴とする、オクルージョン付き動画インスタンスセグメンテーションのための大規模ベンチマークOVISを紹介する。また、隣接フレームを活用することで特徴表現を向上させる、プラグアンドプレイ式の時系列特徴補正モジュールを提案し、MaskTrack R-CNNでは4.6 AP向上、SipMaskでは4.1 AP向上を達成した。これは、動画理解システムにおけるオクルージョンの理解を改善する必要性が顕著であることを示している。

ABSTRACT

Can our video understanding systems perceive objects when a heavy occlusion exists in a scene? To answer this question, we collect a large-scale dataset called OVIS for occluded video instance segmentation, that is, to simultaneously detect, segment, and track instances in occluded scenes. OVIS consists of 296k high-quality instance masks from 25 semantic categories, where object occlusions usually occur. While our human vision systems can understand those occluded instances by contextual reasoning and association, our experiments suggest that current video understanding systems cannot. On the OVIS dataset, the highest AP achieved by state-of-the-art algorithms is only 16.3, which reveals that we are still at a nascent stage for understanding objects, instances, and videos in a real-world scenario. We also present a simple plug-and-play module that performs temporal feature calibration to complement missing object cues caused by occlusion. Built upon MaskTrack R-CNN and SipMask, we obtain a remarkable AP improvement on the OVIS dataset. The OVIS dataset and project code are available at http://songbai.site/ovis .

研究の動機と目的

• 現実世界の動画理解において一般的だが、研究が十分に進んでいない重度のオブジェクトオクルージョン下での動画インスタンスセグメンテーションの課題に対処すること。
• オクルージョン付き動画インスタンスセグメンテーションの評価を目的とした、大規模かつ高品質なベンチマークデータセットの構築。
• 人間の視覚認識と比較して、現在の動画理解モデルがオクルードオブジェクトをどのように認識しているかの限界を調査すること。
• 時系列的文脈を活用してオクルージョンによる視覚的手がかりの欠落を補うことで性能を向上させる、プラグアンドプレイ式のモジュールを提案・検証すること。
• 今後の研究の基盤を提供すること：オクルージョンに配慮したモデリング、データ拡張、自己教師付き事前学習による動画インスタンスセグメンテーションの分野において。

提案手法

• OVISデータセットは25のセマンティックカテゴリ、5,223の重度のオクルージョンを持つインスタンス、296kの高品質なインスタンスマスクを含み、オクルージョンレベルが明示的に「非オクルージョン（緑）」「軽度オクルージョン（黄）」「重度オクルージョン（赤）」としてアノテートされている。
• 異なるオクルージョンレベルでの性能評価を可能にするために、APに基づく新しい指標が導入され、モデルの頑健性を細分化して分析できるようになった。
• 参照フレームから特徴を補正するための、可変畳み込みを用いた時系列特徴補正（TFC）モジュールが提案された。
• クエリフレームに対して、TFCモジュールはε_testの範囲内にある参照フレームを選択し、クエリフレームの特徴を用いて補正オフセットを計算し、それを参照フレームの特徴に適用して表現を向上させる。
• 改善された参照フレームの特徴は、その後、クエリフレームのオブジェクト認識およびセグメンテーションを支援し、オクルージョンによる欠落した手がかりを効果的に回復する。
• TFCモジュールは、強力なベースライン2つ（MaskTrack R-CNNおよびSipMask）に適用され、すべてのオクルージョンレベルで一貫したAP向上が確認された。

実験結果

リサーチクエスチョン

• RQ1 現在の最先端の動画インスタンスセグメンテーションモデルは、人間の視覚認識と比較して、重度のオクルージョンシーンでどの程度の性能を示すのか？
• RQ2 隣接フレームからの時系列的文脈は、動画インスタンスセグメンテーションにおけるオクルードオブジェクトの認識をどの程度向上させ得るのか？
• RQ3 時系列情報を用いて特徴を補正するプラグアンドプレイモジュールは、オクルージョン付き動画インスタンスセグメンテーションの性能を顕著に向上させ得るのか？
• RQ4 オクルージョン状況下での時系列特徴補正において、最適な参照フレーム範囲（ε_test）は何か？
• RQ5 時系列特徴補正による性能向上は、異なるオクルージョンレベル（非オクルージョン、軽度オクルージョン、重度オクルージョン）でどのように変化するか？

主な発見

• OVISベンチマーク上で、どの最先端アルゴリズムでも達成できる最高の平均精度（AP）は16.3にとどまり、非オクルージョンデータセットのモデルと比較して顕著な性能格差があることが示された。
• 最も挑戦的なグループ、すなわち重度のオクルージョンオブジェクトでは、最高のAPは6.3にとどまり、現在のモデルが重度のオクルージョンに対して著しく苦戦していることが明らかになった。
• 提案された時系列特徴補正（TFC）モジュールにより、MaskTrack R-CNNでは4.6ポイント、SipMaskでは4.1ポイントのAP向上が達成され、異なるアーキテクチャにわたり強い汎化性を示した。
• 最適な参照フレーム範囲ε_testは5であると判明し、この値で性能がピークに達した。また、ε_test = 1がε_test = 0を上回る結果となり、隣接フレームが貴重な文脈を提供することが裏付けられた。
• 重度のオクルージョンオブジェクト（AP_HO）における相対的な向上率が最も高く、時系列特徴補正が特に必要とされる場面で最も効果的であることが示された。
• 軽度オクルージョンオブジェクト（AP_MO）では中程度の向上率が得られ、非オクルージョンオブジェクト（AP_SO）では最も小さな向上率であった。これは、モジュールが特定にオクルージョン補償を目的としていることを確認した。