[論文レビュー] Between-Domain Instance Transition Via the Process of Gibbs Sampling in RBM

Hossein Shahabadi Farahani, Alireza Fatehi+1 more|arXiv (Cornell University)|Jun 25, 2020

Domain Adaptation and Few-Shot Learning参考文献 24被引用数 6

ひとこと要約

本論文は、制限ボルツマンマシン（RBM）におけるギブスサンプリングを用いた、新しい転移学習手法を提案する。この手法により、訓練中にターゲットデータを必要とせず、ターゲットドメインのインスタンスをソースドメインに類似した分布に転送できる。MNIST-Mでは、転送なしの38%から65%へと顕著な向上を達成し、確率的サンプリングによるピクセルレベルのドメイン適応が可能である。

ABSTRACT

In this paper, we present a new idea for Transfer Learning (TL) based on Gibbs Sampling. Gibbs sampling is an algorithm in which instances are likely to transfer to a new state with a higher possibility with respect to a probability distribution. We find that such an algorithm can be employed to transfer instances between domains. Restricted Boltzmann Machine (RBM) is an energy based model that is very feasible for being trained to represent a data distribution and also for performing Gibbs sampling. We used RBM to capture data distribution of the source domain and use it in order to cast target instances into new data with a distribution similar to the distribution of source data. Using datasets that are commonly used for evaluation of TL methods, we show that our method can successfully enhance target classification by a considerable ratio. Additionally, the proposed method has the advantage over common DA methods that it needs no target data during the process of training of models.

研究の動機と目的

• ソースドメインとターゲットドメインのデータ分布が異なる状況において、ドメイン間でインスタンスレベルの転送を可能にする、ドメインシフトの問題に対処すること。
• モデルの訓練中にラベル付きまたはラベルなしのターゲットデータを必要としない、ソースドメインからターゲットドメインへの知識転送手法の開発。
• エネルギーに基づくモデル（例：RBM）におけるギブスサンプリングを、ドメイン適応のための確率的メカニズムとして活用することの検討。
• RBMベースのサンプリングにより、ターゲットインスタンスからソースに類似したサンプルを生成することで、ピクセルレベルの転送学習を可能にすること。
• RBMベースのギブスサンプリングが、ターゲットデータをソースデータの分布に効果的に一致させられ、下流の分類性能を向上させることを実証すること。

提案手法

• ソースドメインデータ（例：MNIST）を用いて、エネルギー関数を介して結合確率分布をモデル化する、制限ボルツマンマシン（RBM）を訓練する。
• 訓練済みRBMを用いて、ターゲットドメインのインスタンス（例：MNIST-M）に対してギブスサンプリングを実行し、反復的にそれらをソース分布に近い新しいサンプルに変換する。
• 複数ステップ（例：1ステップまたは3ステップ）にわたりギブスサンプリングを実行することで、ターゲットインスタンスを段階的にソース分布のエネルギー最小値に近づける。
• 生成されたサンプルを、ソースドメインで訓練された分類器の入力として使用し、ターゲットドメインにおける性能向上を実現する。
• 標準的な対照的分散（Contrastive Divergence）の限界を回避するため、効率的で安定したRBM訓練を実現するため、恒常的対照的分散（Persistent Contrastive Divergence, PCD）アルゴリズムを採用する。
• 分類器として畳み込みニューラルネットワーク（CNN）を用い、ソースドメインで事前学習し、変換済みターゲットデータ上で評価する。

実験結果

リサーチクエスチョン

• RQ1 訓練済みRBMにおけるギブスサンプリングが、ターゲットドメインインスタンスをソースドメインに類似した分布に効果的に転送できるか？
• RQ2 本手法を用いることで、モデル訓練中にターゲットデータを一切使用しない状況でも、ターゲットドメインにおける分類精度が向上するか？
• RQ3 本手法により、ターゲットインスタンスから視覚的に妥当でソースに類似したサンプルを生成することで、ピクセルレベルの転送学習が達成できるか？
• RQ4 本手法を用いた場合と直接適用または完全なファインチューニングを用いた場合とを比較した場合、ターゲットドメインにおける分類器の性能はどのように異なるか？
• RQ5 本手法は、訓練中に多数のターゲットデータを必要とする標準的なドメイン適応手法よりも効果的であるか？

主な発見

• 本手法により、MNIST-Mターゲットドメインにおける分類精度が、転送なしの38%からRBMベースのギブスサンプリングを用いたドメイン適応で65%に向上した。
• 生成されたサンプルがMNIST画像に類似しており、ソースドメインのラベルと整合的であることに鑑み、本手法はピクセルレベルの転送学習を効果的に実現した。
• ソースドメインで訓練した分類器はソースデータで98%の精度を達成したが、同じモデルをそのまま使用した場合、ターゲットデータではたった38%の精度にとどまり、顕著なドメインシフトが確認された。
• 本手法により、ソースモデルを直接ターゲットドメインに適用した場合に比べて27パーセンテージポイントの向上を達成し、ラベル付きMNIST-Mデータでファインチューニングした際の94%精度に近づいた。
• 本手法は訓練中にターゲットデータを一切必要とせず、ソースモデルと推論時におけるギブスサンプリングによる変換に依存するため、低データまたはプライバシー制限のある状況に適している。
• RBMの訓練に恒常的対照的分散（PCD）を用いることで、ソースデータ分布の安定的かつ効果的な学習が可能になり、信頼性の高いサンプリングが可能となった。