[論文レビュー] Naive-Student: Leveraging Semi-Supervised Learning in Video Sequences for Urban Scene Segmentation

Liang-Chieh Chen, Raphael Gontijo Lopes+6 more|arXiv (Cornell University)|May 20, 2020

Video Surveillance and Tracking Methods参考文献 92被引用数 12

ひとこと要約

この論文では、ラベルなしの動画フレームと追加の画像から擬似ラベルを生成し、データ拡張とモデル distillation のみを用いて、都市景観セグメンテーションを向上させるシンプルな反復的半教師あり学習手法である Naive-Student を提案する。本手法は、特別なラベル伝搬モジュールを必要とせず、Cityscapes ベンチマークの3つのすべてのタスクで最先端の結果を達成した：テストセットにおいて 67.8% PQ、42.6% AP、85.2% mIOU を達成した。

ABSTRACT

Supervised learning in large discriminative models is a mainstay for modern computer vision. Such an approach necessitates investing in large-scale human-annotated datasets for achieving state-of-the-art results. In turn, the efficacy of supervised learning may be limited by the size of the human annotated dataset. This limitation is particularly notable for image segmentation tasks, where the expense of human annotation is especially large, yet large amounts of unlabeled data may exist. In this work, we ask if we may leverage semi-supervised learning in unlabeled video sequences and extra images to improve the performance on urban scene segmentation, simultaneously tackling semantic, instance, and panoptic segmentation. The goal of this work is to avoid the construction of sophisticated, learned architectures specific to label propagation (e.g., patch matching and optical flow). Instead, we simply predict pseudo-labels for the unlabeled data and train subsequent models with both human-annotated and pseudo-labeled data. The procedure is iterated for several times. As a result, our Naive-Student model, trained with such simple yet effective iterative semi-supervised learning, attains state-of-the-art results at all three Cityscapes benchmarks, reaching the performance of 67.8% PQ, 42.6% AP, and 85.2% mIOU on the test set. We view this work as a notable step towards building a simple procedure to harness unlabeled video sequences and extra images to surpass state-of-the-art performance on core computer vision tasks.

研究の動機と目的

• 都市景観におけるセマンティック、インスタンス、パンオプティックセグメンテーションの性能を、ラベルなしの動画シーケンスと追加の画像を用いて向上させること。
• 半教師あり学習をシンプルかつスケーラブルな方法で活用することで、高価な人手によるアノテーションデータセットへの依存を減らすこと。
• オプティカルフロー や パッチマッチング などの複雑なアーキテクチャを避けるために、擬似ラベル付けとデータ拡張のみに依存すること。
• タスク固有のアーキテクチャ変更なしに、Cityscapes ベンチマークで最先端の性能を達成すること。
• コンピュータビジョン分野における豊富なラベルなし動画データを活用するシンプルで効果的なベースラインを確立すること。

提案手法

• Cityscapes 動画シーケンスからの少量の人がアノテートしたフレームを用いてモデルを反復的に訓練する。
• マルチスケール入力と左右反転をデータ拡張として用いて、ラベルなしの動画フレームの擬似ラベルを生成する。
• 各反復において、教師モデルの予測を学生モデルに知識蒸留する。
• その後の訓練エポックでは、人手によるアノテーションデータと擬似ラベル付きデータを組み合わせて一般化性能を向上させる。
• さらに性能を向上させるために、テスト時拡張（マルチスケール入力と反転）と Mapillary Vistas での事前学習を適用する。
• 効率性と精度の向上を図るため、ドロップパスとマルチグリッド設定を施した変更版 Wide ResNet-41（WR-41）バックボーンを用いる。

実験結果

リサーチクエスチョン

• RQ1 特別なラベル伝搬モジュールを必要とせず、シンプルな反復的半教師あり学習手順が、都市景観セグメンテーションで教師ありベースラインを上回ることができるか？
• RQ2 ラベルなしの動画フレームと追加の画像は、セマンティック、インスタンス、パンオプティックセグメンテーションタスクの性能をどの程度向上させられるか？
• RQ3 オプティカルフロー や パッチマッチング を使用せずに、データ拡張のみによる擬似ラベル付けが競争力のある結果をもたらすか？
• RQ4 提案手法が、3つのすべての Cityscapes ベンチマークで同時に最先端の性能を達成できるか？
• RQ5 バックボーンアーキテクチャと訓練手法の選択が、モデルの効率性と正確性にどのように影響するか？

主な発見

• Naive-Student は、Cityscapes テストセットで 67.8% PQ、42.6% AP、85.2% mIOU を達成し、3つのベンチマークで新たなる最先端性能を樹立した。
• 追加データなしで、X-71 バックボーンを搭載した Panoptic-DeepLab よりも、PQ 1.4%、AP 1.9%、mIOU 2.1% の向上を達成した。
• Mapillary Vistas での事前学習を施した場合、さらに性能が向上し、テストセットで 66.5% PQ、40.6% AP、84.5% mIOU を達成した。
• WR-41 バックボーンは、WR-38 よりもパラメータ数と FLOPs を削減し、V100 での推論速度を 396.5 ms（WR-38 では 437.9 ms）に高速化した。
• テスト時拡張（マルチスケール入力と反転）を適用することで、バリデーションセットの mIOU が 80.7% から 83.8% に向上した。
• ドロップパスとマルチグリッド設定は、すべてのバックボーンバージョンにおいて一貫して性能向上をもたらした。