[論文レビュー] Learning to Annotate Part Segmentation with Gradient Matching

Yang Yu, Xiaotian Cheng+2 more|arXiv (Cornell University)|Nov 6, 2022

Advanced Neural Network Applications被引用数 4

ひとこと要約

本稿では、GANによって生成された画像を用いて弱教師あり学習を実現するための勾配マッチング手法を提案する。この手法により、合成データに対する手動ラベルの付与を不要とし、高品質な弱教師あり学習を実現する。アノテータ学習をメタラーニング問題として定式化し、勾配マッチングに還元することで、最小限のラベルデータで半教師あり部分セグメンテーションにおいて最先端の性能を達成し、低ショット設定でも先行手法を上回る性能を示す。

ABSTRACT

The success of state-of-the-art deep neural networks heavily relies on the presence of large-scale labelled datasets, which are extremely expensive and time-consuming to annotate. This paper focuses on tackling semi-supervised part segmentation tasks by generating high-quality images with a pre-trained GAN and labelling the generated images with an automatic annotator. In particular, we formulate the annotator learning as a learning-to-learn problem. Given a pre-trained GAN, the annotator learns to label object parts in a set of randomly generated images such that a part segmentation model trained on these synthetic images with their predicted labels obtains low segmentation error on a small validation set of manually labelled images. We further reduce this nested-loop optimization problem to a simple gradient matching problem and efficiently solve it with an iterative algorithm. We show that our method can learn annotators from a broad range of labelled images including real images, generated images, and even analytically rendered images. Our method is evaluated with semi-supervised part segmentation tasks and significantly outperforms other semi-supervised competitors when the amount of labelled examples is extremely limited.

研究の動機と目的

• 部分セグメンテーションにおけるピクセル単位のラベル付けの高コストを解消するため、GANによって生成された画像を用いて弱教師あり学習を活用すること。
• 合成データに対する人手によるラベル付けを不要とするために、メタラーニングフレームワークを用いて自動アノテータを訓練すること。
• 実画像、合成画像、およびドメイン外の画像を含む多様なデータソースを活用することで、一般化性能とロバスト性を向上させること。
• アノテータの訓練を勾配マッチング問題として定式化することで、最小限のラベルデータで高いセグメンテーション性能を達成すること。

提案手法

• アノテータ学習を学びの学び（learning-to-learn）問題として定式化する：アノテータを、GANによって生成された画像に対してラベルを出力するように訓練し、そのラベルで学習されたセグメンテーションモデルが、少数の実画像バリエーションデータに対して低い誤差を示すようにする。
• 内側のループ（セグメンテーションの訓練）と外側のループ（アノテータの更新）というネストされた最適化を、高価なエンドツーエンドのメタラーニングを避けるために単純な勾配マッチング問題に還元する。
• 勾配マッチング目的関数を効率的に解く反復的アルゴリズムを用い、アノテータの安定的かつスケーラブルな訓練を可能にする。
• 実画像、GANによって生成された画像、さらには解析的にレンダリングされた画像を含む幅広いラベル付きデータを用いてアノテータを訓練するが、合成データの手動ラベル付けは一切不要である。
• 事前学習済みの非条件付きGANを活用して多様な画像を生成し、アノテータへの入力として潜在特徴を抽出する。

実験結果

リサーチクエスチョン

• RQ1 GANによって生成された画像に対する手動ラベル付けを一切不要としながら、高品質な部分セグメンテーションアノテータを訓練できるか？
• RQ2 勾配マッチングは、弱教師あり設定下でエンドツーエンドのメタラーニングを効果的に置き換えることができるか？
• RQ3 提案手法は、実画像、合成画像、ドメイン外画像を含む多様なデータソースに一般化できるか？
• RQ4 従来の半教師ありおよび弱教師あり手法と比較して、本手法は少数ラベル設定（few-shot regime）でどの程度の性能を示すか？

主な発見

• 提案手法は、半教師あり部分セグメンテーションにおいて最先端の性能を達成しており、ラベル例の数が極めて限られた状況でも、他の競合手法を著しく上回る。
• CelebAデータセットでは、30個のラベル例でのみ78.07%のFG-mIoUを達成し、16個の合成ラベルを使用したDatasetGANの70.01%を上回る。
• CelebA-trainに含まれる実画像をラベルデータとして使用することで、性能は79.25%のmIoUに向上し、ラベル信号としての実画像の優位性を示している。
• 1,500個のラベル例を用いる場合、CelebAで77.90%のFG-mIoUを達成し、同じ数のラベルで教師あり学習を実行した場合よりも優れた性能を示している。
• 大規模な設定（例：29,000ラベル）では性能が飽和または低下する傾向を示しており、これは特に複雑なデータセットにおいて、GANの品質に起因する性能の上限があることを示唆している。