[論文レビュー] Domain Generalization for Object Recognition with Multi-task Autoencoders

Muhammad Ghifary, W. Bastiaan Kleijn+2 more|arXiv (Cornell University)|Aug 31, 2015

Domain Adaptation and Few-Shot Learning参考文献 25被引用数 50

ひとこと要約

本稿では、自然に発生するドメイン変化の再構成を通じてドメイン不変特徴を学習することにより、物体認識におけるドメイン一般化のためのマルチタスクオートエンコーダー（MTAE）およびそのノイズ除去変種（D-MTAE）を提案する。この手法は、クロスデータセット認識ベンチマークにおいて先行する最先端モデルを上回り、VLCSおよびOffice+CaltechデータセットでSOTAの精度を達成した。これは、特徴学習中にドメイン間の外観変換を明示的にモデル化した結果である。

ABSTRACT

The problem of domain generalization is to take knowledge acquired from a number of related domains where training data is available, and to then successfully apply it to previously unseen domains. We propose a new feature learning algorithm, Multi-Task Autoencoder (MTAE), that provides good generalization performance for cross-domain object recognition. Our algorithm extends the standard denoising autoencoder framework by substituting artificially induced corruption with naturally occurring inter-domain variability in the appearance of objects. Instead of reconstructing images from noisy versions, MTAE learns to transform the original image into analogs in multiple related domains. It thereby learns features that are robust to variations across domains. The learnt features are then used as inputs to a classifier. We evaluated the performance of the algorithm on benchmark image recognition datasets, where the task is to learn features from multiple datasets and to then predict the image label from unseen datasets. We found that (denoising) MTAE outperforms alternative autoencoder-based models as well as the current state-of-the-art algorithms for domain generalization.

研究の動機と目的

• テストデータが未学習ドメインからのものである場合に生じるデータセットバイアスのための一般化性能の低下という課題に対処する。
• ターゲットドメインデータが利用できない状況で一般化に失敗する標準オートエンコーダーや既存のドメイン一般化手法の限界を克服する。
• 視点、照明、スケールなどの現実世界の変化に対する不変性を、暗黙的かつ特徴学習の過程で学習するフレームワークを開発する。
• 複数のソースドメインを用いた学習とマルチタスク再構成目的関数を活用することで、未学習のデータセットにおける一般化性能を向上させる。
• 自然なドメインシフトを再構成のターゲットとしてモデル化することで、ノイズ除去オートエンコーダーにおける人工的ノイズよりも優れた耐性が得られることを示す。

提案手法

• 各タスクが異なるドメインでの入力画像の再構成に対応するマルチタスクオートエンコーダー（MTAE）を訓練し、自然に発生するドメインシフトを監視信号として用いる。
• ノイズ除去オートエンコーダーにおける人工的破損を、回転、スケーリング、照明変化などの実際のドメイン変換に置き換える。
• 入力画像から特徴を抽出する共有エンコーダーを用い、その後に各ドメイン固有のデコーダーを複数設置して、各ターゲットドメインでの画像再構成を行う。
• すべてのドメインにおいて元の画像と再構成画像の差を最小化する再構成損失を最適化してモデルを学習する。
• 再構成画像にノイズ除去基準を適用することで、自然な画像変化に対する耐性を高める、ノイズ除去変種（D-MTAE）を導入する。
• MTAEが抽出する共有特徴を用いて最終分類器をファインチューニングし、未学習ドメインへのゼロショット一般化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 自然なドメイン変化を再構成ターゲットとしてモデル化することで、人工的ノイズよりも未学習ドメインにおける特徴一般化が向上するか？
• RQ2 ドメイン固有の再構成ヘッドを備えたマルチタスク学習は、標準オートエンコーダーやメトリクス学習手法よりも不変性の高い特徴を学習できるか？
• RQ3 提案手法であるMTAEは、Undo-Bias、UML、LRE-SVMといった最先端のドメイン一般化モデルと比較して、クロスデータセット認識タスクでどのように性能を発揮するか？
• RQ4 MTAEのノイズ除去変種（D-MTAE）は、さらなる耐性と一般化性能の向上を実現できるか？
• RQ5 MTAEを介して学習された共有特徴は、VLCSやOffice+Caltechといったベンチマークデータセットにおける物体認識のデータセットバイアスをどの程度低減できるか？

主な発見

• D-MTAEはVLCSデータセットにおいて、4つのクロスドメインケースの平均精度が最高となり、すべての先行SOTA手法を上回った。
• Office+Caltechデータセットでは、D-MTAE+1HNNは4つのクロスドメインケースのうち2つで最良の性能を示し、残り2つでも2位となり、平均的にLRE-SVMを上回った。
• DeCAF-6特徴を用いた標準的な手法では、正解精度とクロスドメイン精度との差が14%を超えることが確認され、顕著なデータセットバイアスの存在が裏付けられた。
• 明示的なターゲットドメインデータがなくても、MTAEおよびD-MTAEはこのバイアスを顕著に低減しており、効果的なドメイン一般化が実現されていることが示された。
• VLCSでは共有クラスがたった5つにとどまるにもかかわらず、SOTAの結果を達成したため、強力な不変性学習が実現されたと結論づけられる。
• アブレーション実験の結果、D-MTAEは常に標準MTAEを上回る性能を示しており、自然な画像変化への耐性を高めるためにノイズ除去基準が有効であることが確認された。