[論文レビュー] Leveraging Semi-Supervised Learning in Video Sequences for Urban Scene Segmentation.

Liang-Chieh Chen, Raphael Gontijo Lopes+6 more|arXiv (Cornell University)|May 20, 2020

Video Surveillance and Tracking Methods参考文献 73被引用数 12

ひとこと要約

本論文は、ラベルなし動画シーケンスと追加の画像を活用して都市風景セグメンテーションを向上させる、シンプルでありながら効果的な反復的半教師あり学習フレームワークを提案する。ラベルなしデータに対して偽ラベルを生成し、Naive-Studentモデルを反復的に再訓練することで、Cityscapesベンチマークにおけるセマンティック、インスタンス、パノプティックセグメンテーションのすべての分野で最先端の性能を達成し、67.8%のPQ、42.6%のAP、85.2%のmIOUを達成した。

ABSTRACT

Supervised learning in large discriminative models is a mainstay for modern computer vision. Such an approach necessitates investing in large-scale human-annotated datasets for achieving state-of-the-art results. In turn, the efficacy of supervised learning may be limited by the size of the human annotated dataset. This limitation is particularly notable for image segmentation tasks, where the expense of human annotation is especially large, yet large amounts of unlabeled data may exist. In this work, we ask if we may leverage semi-supervised learning in unlabeled video sequences and extra images to improve the performance on urban scene segmentation, simultaneously tackling semantic, instance, and panoptic segmentation. The goal of this work is to avoid the construction of sophisticated, learned architectures specific to label propagation (e.g., patch matching and optical flow). Instead, we simply predict pseudo-labels for the unlabeled data and train subsequent models with both human-annotated and pseudo-labeled data. The procedure is iterated for several times. As a result, our Naive-Student model, trained with such simple yet effective iterative semi-supervised learning, attains state-of-the-art results at all three Cityscapes benchmarks, reaching the performance of 67.8% PQ, 42.6% AP, and 85.2% mIOU on the test set. We view this work as a notable step towards building a simple procedure to harness unlabeled video sequences and extra images to surpass state-of-the-art performance on core computer vision tasks.

研究の動機と目的

• 大規模なラベルなし動画シーケンスと追加の画像を用いて都市風景セグメンテーションの性能を向上させること。
• セマンティック、インスタンス、パノプティックセグメンテーションの分野における人間によるアノテーションデータセットの高コストとスケーラビリティの限界を克服すること。
• ピクセルマッチングやオプティカルフローのような複雑なラベル伝搬メカニズムを避ける、アーキテクチャに依存しないシンプルな手法を開発すること。
• 特別なモデル設計を施さずに、セマンティック、インスタンス、パノプティックセグメンテーションの3つのCityscapesベンチマークで、すべての分野で最先端の結果を達成すること。
• 反復的偽ラベル付けと軽量な学生モデルを用いることで、最小限のアーキテクチャ的革新で既存のSOTA手法を上回ることを示すこと。

提案手法

• 教師モデルを初期の人間アノテーションデータセットで訓練し、そのモデルを用いてラベルなしの動画フレームおよび追加の画像に対して偽ラベルを生成する。
• 学生モデル（Naive-Student）を、元の人工アノテーションデータと偽ラベルを付与されたラベルなしデータの両方を用いて、エンドツーエンドで訓練する。
• 複数回にわたる反復的な訓練プロセスを実行し、各サイクルで改善された学生モデルから更新された偽ラベルを生成する。
• オプティカルフロー やピクセルマッチング などの複雑なラベル伝搬技術を避け、直接的な偽ラベル付けとモデル distillation に依存する。
• 最終的なモデルは、パノプティック、インスタンス、セマンティックセグメンテーションの3つのセグメンテーションタスクすべてにおいて、Cityscapesのテストセットで評価される。
• 本手法はシンプルで汎用的であり、タスク固有のアーキテクチャ的変更を要せず、さまざまなセグメンテーションタスクに適用可能である。

実験結果

リサーチクエスチョン

• RQ1 ピクセルマッチング やオプティカルフロー といった複雑なラベル伝搬技術を用いずに、ラベルなしの動画シーケンスと追加の画像を効果的に活用して都市風景セグメンテーションを向上させることができるか？
• RQ2 シンプルな学生モデルを用いた反復的偽ラベル付けが、セマンティック、インスタンス、パノプティックセグメンテーションの分野で、既存のSOTA手法を上回る性能を発揮するか？
• RQ3 ピクセルマッチング やオプティカルフロー を避ける最小限のアーキテクチャ的設計ですら、反復的半教師あり学習によって最先端の性能を達成できるか？
• RQ4 Naive-Studentモデルの性能は、3つのCityscapesベンチマークすべてにおいて、先行手法と比較してどうなるか？
• RQ5 偽ラベルの反復的精錬が、モデルの一般化性能とセグメンテーション精度をどの程度向上させるか？

主な発見

• Naive-Studentモデルは、Cityscapesテストセットでパノプティック品質（PQ）67.8%を達成し、新たなSOTAを樹立した。
• インスタンスセグメンテーションでは42.6%の平均精度（AP）を達成し、以前のSOTA結果を上回った。
• セマンティックセグメンテーションでは85.2%の平均交差率（mIOU）を達成し、ベンチマーク上で新たなSOTAを記録した。
• オプティカルフロー やピクセルマッチング といったラベル伝搬用の特別なアーキテクチャ設計を施さずに、性能向上が達成された。
• 偽ラベルの反復的精錬は、セマンティック、インスタンス、パノプティックセグメンテーションの3つのタスクすべてにおいて、モデルの一般化性能とセグメンテーション精度を顕著に向上させた。
• 結果から、複雑なタスク固有のモデルよりも、シンプルで軽量なトレーニング手順が都市風景セグメンテーションで優れた性能を発揮できることを示した。