[論文レビュー] Make One-Shot Video Object Segmentation Efficient Again

Tim Meinhardt, Laura Leal-Taixé|arXiv (Cornell University)|Dec 3, 2020

Advanced Neural Network Applications被引用数 5

ひとこと要約

本論文は、メタ学習によるモデル初期化とニューロンレベルの学習率を活用することで、テスト時微調整の反復回数を大幅に削減しながら、最先端の性能を達成する、非常に効率的なワンショット動画オブジェクトセグメンテーション手法であるe-OSVOSを提案する。オブジェクト検出ヘッドを備えたMask R-CNNを直接微調整し、オンライン適応を適用することで、e-OSVOSはわずか50〜100回のテスト時反復で高い精度を達成し、DAVIS 2016、DAVIS 2017、YouTube-VOSで先行する微調整手法を大きく上回る。推論速度は、オーダー・オブ・マグニチュード速い。

ABSTRACT

Video object segmentation (VOS) describes the task of segmenting a set of objects in each frame of a video. In the semi-supervised setting, the first mask of each object is provided at test time. Following the one-shot principle, fine-tuning VOS methods train a segmentation model separately on each given object mask. However, recently the VOS community has deemed such a test time optimization and its impact on the test runtime as unfeasible. To mitigate the inefficiencies of previous fine-tuning approaches, we present efficient One-Shot Video Object Segmentation (e-OSVOS). In contrast to most VOS approaches, e-OSVOS decouples the object detection task and predicts only local segmentation masks by applying a modified version of Mask R-CNN. The one-shot test runtime and performance are optimized without a laborious and handcrafted hyperparameter search. To this end, we meta learn the model initialization and learning rates for the test time optimization. To achieve optimal learning behavior, we predict individual learning rates at a neuron level. Furthermore, we apply an online adaptation to address the common performance degradation throughout a sequence by continuously fine-tuning the model on previous mask predictions supported by a frame-to-frame bounding box propagation. e-OSVOS provides state-of-the-art results on DAVIS 2016, DAVIS 2017, and YouTube-VOS for one-shot fine-tuning methods while reducing the test runtime substantially. Code is available at https://github.com/dvl-tum/e-osvos.

研究の動機と目的

• ワンショット微調整に基づく動画オブジェクトセグメンテーション（VOS）における、数百から数千回のテスト時反復を要する非効率性を是正すること。
• 微調整ベースのVOSにおける固定事前学習や手作業で設定されたハイパーパrameterの制限を克服し、メタ学習により最適な初期化と学習率を学習すること。
• テンプレートマッチングやマスク伝搬に依存せずに、効率的かつ高性能なワンショットVOSを実現し、微調整をコアなパラダイムとして再び有効化すること。
• フレーム間のバウンディングボックス伝搬を用いて、過去の予測を継続的に微調整するオンライン適応を導入することで、長時間の動画シーケンスにおけるロバスト性を向上させること。
• 微調整が効率的かつ効果的であることを示し、非学習的メソッドへの移行という最近の傾向に挑戦すること。

提案手法

• 任意のオブジェクトに対してその後続のワンショット微調整に最適な初期モデル重みをメタ学習することで、固定事前学習の必要性を排除する。
• ニューロンレベルでの個別学習率を予測することで、テスト時微調整における適応的かつタスク固有の最適化を可能にし、手動でのハイパーパrameterチューニングを回避する。
• オブジェクト検出とセグメンテーションを分離するために、Mask R-CNNのエンドツーエンドで学習可能な検出ヘッドを用い、マスク予測を局所化された領域に制限することで、計算コストを低減する。
• 5フレームごとに、以前に予測されたマスクと伝搬されたバウンディングボックスを用いてモデルを微調整することで、オンライン適応を適用し、時間経過に伴う性能劣化を緩和する。
• Mask R-CNNでRoIAlignを用いて局所化された領域からの特徴を抽出することで、局所化の正確性を向上させつつ、セグメンテーションの範囲を関連するオブジェクト領域に限定する。
• 多様なオブジェクトと動画をカバーするメタ学習フレームワークでモデルを学習し、初期化と学習率適応を最適化することで、テスト時のシナリオに一般化できるようにする。

実験結果

リサーチクエスチョン

• RQ1 ワンショット微調整を、性能を損なわせることなく、リアルタイムの動画オブジェクトセグメンテーションに実用的であるほど効率的にできるか？
• RQ2 メタ学習を用いて、VOSにおけるテスト時微調整の最適なモデル初期化と学習率スケジュールを自動で発見できるか？
• RQ3 ニューロン単位で学習率を予測することは、固定またはパラメータ単位の学習率よりも、より優れた一般化性能と高速収束をもたらすか？
• RQ4 検出ヘッドを備えたエンドツーエンドのMask R-CNNは、最小限の推論コストで、専用のマスク提案または伝搬手法を上回る性能を達成できるか？
• RQ5 オンライン適応により、追加の再トレーニングや追加モジュールを必要とせずに、長時間の動画シーケンスにおける性能を安定化できるか？

主な発見

• e-OSVOSは、ワンショット微調整手法としてDAVIS 2016、DAVIS 2017、YouTube-VOSで最先端の性能を達成しており、PReMVOSよりも多くのシーケンスで優れているが、反復回数は著しく少ない。
• e-OSVOS-100-OnAはDAVIS 2017で平均88.1%のIoUを達成し、PReMVOS（平均88.8%）を上回っているが、0.29フレーム/秒の速度で動作しているのに対し、PReMVOSは0.01フレーム/秒である。
• e-OSVOS-50-OnA（テスト時50反復）はDAVIS 2017で86.5%の平均IoUを達成しており、最小限の計算量で高い精度が達成可能であることを示している。
• e-OSVOSは、1オブジェクトあたり最大1000回の反復を要する先行の微調整アプローチと比較して、テスト時の推論コストをオーダー・オブ・マグニチュード低減している。
• より単純なアーキテクチャを採用しているにもかかわらず、境界が詳細に必要な難易度の高いシーケンス（blackswan や india）においても、競争力のある性能を示している。
• アブレーションスタディにより、メタ学習による初期化とニューロンレベルの学習率が性能に不可欠であることが確認されており、これらの要素を削除すると、顕著な精度の低下が生じている。