[論文レビュー] Machine learning with limited data

Fupin Yao|arXiv (Cornell University)|Jan 18, 2021

Domain Adaptation and Few-Shot Learning参考文献 57被引用数 5

ひとこと要約

本稿は、データ不足下での少样本画像分類に取り組み、画像特徴の拡張のためのスタイルミキシングと、パッチレベルの関係をモデル化するための空間的アテンションを提案する。さらに、ラベルなしターゲットデータを有する、新しいクロスドメイン少样本学習設定を導入し、スタイル転送と対照的学習の手法を提案する。これらの手法は、特にラベルなしデータを拡張した場合に、ベースラインを著しく上回る性能を発揮する。

ABSTRACT

Thanks to the availability of powerful computing resources, big data and deep learning algorithms, we have made great progress on computer vision in the last few years. Computer vision systems begin to surpass humans in some tasks, such as object recognition, object detection, face recognition and pose estimation. Lots of computer vision algorithms have been deployed to real world applications and started to improve our life quality. However, big data and labels are not always available. Sometimes we only have very limited labeled data, such as medical images which requires experts to label them. In this paper, we study few shot image classification, in which we only have very few labeled data. Machine learning with little data is a big challenge. To tackle this challenge, we propose two methods and test their effectiveness thoroughly. One method is to augment image features by mixing the style of these images. The second method is applying spatial attention to explore the relations between patches of images. We also find that domain shift is a critical issue in few shot learning when the training domain and testing domain are different. So we propose a more realistic cross-domain few-shot learning with unlabeled data setting, in which some unlabeled data is available in the target domain. We propose two methods in this setting. Our first method transfers the style information of the unlabeled target dataset to the samples in the source dataset and trains a model with stylized images and original images. Our second method proposes a unified framework to fully utilize all the data. Both of our methods surpass the baseline method by a large margin.

研究の動機と目的

• 限られたラベル付きデータにおける少样本画像分類の課題に取り組み、医療画像のような実世界のシナリオにおいて特に有効であることを目的とする。
• トレーニングドメインとテストドメインが異なるドメインシフトの問題に取り組む。
• ラベルなしターゲットドメインデータへのアクセスを想定した、現実的なクロスドメイン少样本学習設定を提案する。
• ラベル付きソースデータとラベルなしターゲットデータの両方を効果的に活用し、一般化性能を向上させる手法を開発する。
• 大規模なラベル付きデータセットへの依存を減らし、ドメインシフトに対してより強固な少样本学習の実用的展開を進める。

提案手法

• トレーニング中に1枚の画像から別の画像へスタイル特徴を転送することでスタイルミキシングを適用し、入力表現を拡張し、一般化性能を向上させる。
• 画像パッチ間の関係をモデル化するための空間的アテンション機構を導入し、低データ環境における特徴学習を強化する。
• ターゲットドメインのスタイルをソースドメインの画像に適用するドメインに依存しないスタイル転送手法を提案し、ドメイン不変の特徴学習を可能にする。
• ラベル付きソースデータ、クラスタリング済みの疑似ラベル付きターゲットデータ、および未クラスタリングのラベルなしデータを統合したフレームワークを設計し、統合学習を実現する。
• メモリバンを用いた対照的学習を実装し、ラベル付きおよびラベルなしデータを用いてソースドメインとターゲットドメインの特徴を一致させる。
• 反復的なクラスタリングとモデル再訓練を用いて、疑似ラベルを改善し、時間経過とともに特徴品質を向上させる。

実験結果

リサーチクエスチョン

• RQ1 スタイルミキシングによる画像特徴の拡張は、少样本分類性能をどのように向上させるか？
• RQ2 限られたデータにおける少样本学習において、空間的アテンションは特徴表現をどの程度向上させるか？
• RQ3 ラベルなしターゲットドメインデータは、クロスドメイン設定における少样本一般化を著しく向上させるか？
• RQ4 ラベルなしターゲットデータからソースデータへのスタイル転送は、少样本学習におけるドメイン適応にどの程度有効か？
• RQ5 疑似ラベル付きおよびラベルなしデータを用いた対照的学習は、少样本設定におけるドメイン一般化をどの程度向上させるか？

主な発見

• 提案されたスタイルミキシング手法は、少样本画像分類ベンチマークで最先端の性能を達成し、ベースライン手法と比較して顕著な精度向上を示した。
• 空間的アテンション機構は、局所的および大域的コンテキストを少数の例から捉える能力を高め、特徴の識別性を向上させた。
• ラベルなしデータを有するクロスドメイン少样本学習設定において、対照的学習手法はDomainNetで平均63.16%の精度を達成し、ベースラインを4ポイント以上上回った。
• ラベルなしターゲットデータセットを2–3kからより大きなサイズに拡張したところ、顕著な性能向上が見られ、clipartでは69.78%、paintingでは60.94%、sketchでは58.76%の精度に到達した。
• ラベルなしデータと対照的学習の組み合わせにより、ドメインシフトに対する耐性が著しく向上し、低データ環境における自己教師信号の有効性を示した。
• ADDA やスタイル化ベースのアプローチといった既存のベースラインを上回り、ドメイン適応においてラベル付きおよびラベルなしデータの共同利用の価値を確認した。