[論文レビュー] SimEx: Express Prediction of Inter-dataset Similarity by a Fleet of Autoencoders

Inseok Hwang, Jinho Lee+2 more|arXiv (Cornell University)|Jan 14, 2020

Domain Adaptation and Few-Shot Learning参考文献 30被引用数 4

ひとこと要約

SimExは、未知のデータの再構築誤差を多数の事前学習済みオートエナボーラーで評価することにより、再訓練を必要としない高速な手法を提案する。この手法は、性能ベースの類似度指標と強い相関を示しながら、転移学習ベースのベースラインと比較して10倍以上の高速化を達成する。

ABSTRACT

Knowing the similarity between sets of data has a number of positive implications in training an effective model, such as assisting an informed selection out of known datasets favorable to model transfer or data augmentation problems with an unknown dataset. Common practices to estimate the similarity between data include comparing in the original sample space, comparing in the embedding space from a model performing a certain task, or fine-tuning a pretrained model with different datasets and evaluating the performance changes therefrom. However, these practices would suffer from shallow comparisons, task-specific biases, or extensive time and computations required to perform comparisons. We present SimEx, a new method for early prediction of inter-dataset similarity using a set of pretrained autoencoders each of which is dedicated to reconstructing a specific part of known data. Specifically, our method takes unknown data samples as input to those pretrained autoencoders, and evaluate the difference between the reconstructed output samples against their original input samples. Our intuition is that, the more similarity exists between the unknown data samples and the part of known data that an autoencoder was trained with, the better chances there could be that this autoencoder makes use of its trained knowledge, reconstructing output samples closer to the originals. We demonstrate that our method achieves more than 10x speed-up in predicting inter-dataset similarity compared to common similarity-estimating practices. We also demonstrate that the inter-dataset similarity estimated by our method is well-correlated with common practices and outperforms the baselines approaches of comparing at sample- or embedding-spaces, without newly training anything at the comparison time.

研究の動機と目的

• 未知のデータセットと既知のリファレンスデータセット間の類似度を再訓練なしに効率的に推定する課題に対処すること。
• 転移学習およびデータ拡張ワークフローにおける類似度推定の計算コストを低減すること。
• タスク固有のバイアスを回避するため、再構築品質に基づいて類似度を推論する事前学習済みオートエナボーラーを活用する手法を開発すること。
• 入力空間における再構築誤差が、データセット間類似度の信頼できる代理指標として機能するかどうかを評価すること。
• SimExが実世界のMLパイプラインにおける既存の類似度推定技術と比較して、スケーラブルで低遅延な代替手段であることを示すこと。

提案手法

• 既知のデータセット内の異なるデータサブセットごとに、MSEまたはiSSIMを再構築損失として使用して、それぞれ専用のオートエナボーラーを学習する。
• 事前学習済みオートエナボーラーを用いて未知のデータサンプルを再構築し、入力と再構築出力の差を測定する。
• 入力と出力の間のMSEまたはiSSIMに基づいて、未知のデータと各既知のデータサブセット間の類似度を計算する。
• 再構築誤差を類似度の代理指標として使用する：誤差が小さいほど、対応する既知のデータサブセットと類似度が高いことを示す。
• 推論時に微調整や追加学習を一切行わず、高速でリアルタイムの類似度予測を可能にする。
• 転移学習、データ拡張、クラス間誤認識予測など、複数のタスクにおいて手法を評価する。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みオートエナボーラーからの再構築誤差が、データセット間類似度の信頼できる代理指標として機能するか？
• RQ2 SimExは、転移学習およびデータ拡張に関連する類似度を予測する際、サンプル空間および埋め込み空間ベースラインと比較してどのように差をつけるか？
• RQ3 SimExは、転移学習ベースの類似度推定と比較して、実行時間コストをどの程度低減するか？
• RQ4 SimExは、ベースライン手法と比較して、データセット内のクラス間誤認識レベルをどの程度正確に予測できるか？
• RQ5 入力空間における再構築誤差の使用が、モデル固有の特徴表現からのバイアスを軽減するか？

主な発見

• SimExは、推論時に再訓練を必要としないため、転移学習ベースのベースラインと比較して、データセット間類似度予測で10倍以上の高速化を達成する。
• SimEx-MSEとSimEx-iSSIMは、9クラスのLeNet-5分類器からの誤認識レベルとそれぞれSpearmanのrho 0.692および0.765の強い相関を示しており、良好な相関性を確認した。
• SimEx-iSSIMは、9クラスのResNet-18分類器からの誤認識レベルとSpearmanのrho 0.804を達成し、ベースラインのサンプル-iSSIM（rho = 0.338）を上回った。
• SimExの類似度予測は、サンプル空間距離よりもモデルベースの誤認識パターンとより一貫しており、実世界のMLタスクにおける予測力の優位性を示唆している。
• 微調整や特徴抽出の計算負荷を回避しながらも、性能ベースの類似度指標と高い相関性を維持している。
• SimExは、クラス間誤認識の予測において、サンプル空間および埋め込み空間ベースラインを上回っており、初期段階でのデータセット互換性スクリーニングへの応用可能性を示している。