[論文レビュー] Representation Similarity Analysis for Efficient Task taxonomy & Transfer Learning

Kshitij Dwivedi, Gemma Roig|arXiv (Cornell University)|Apr 26, 2019

Domain Adaptation and Few-Shot Learning参考文献 34被引用数 18

ひとこと要約

本論文は、微調整を一切行わず、わずかな画像のみを用いて学習済みモデルの表現同士の相関に基づく類似度スコアを計算することで、転移学習のための事前学習モデルを効率的にランク付けするための表現類似度分析（RSA）手法を提案する。主な貢献は、RSA類似度が転移学習性能を強く予測することである—TaskonomyおよびPascal VOCで検証され、ドメインシフトの状況下で、同じタスクで学習されたモデルよりもRSAスコアの高いモデルが優れた性能を示した。

ABSTRACT

Transfer learning is widely used in deep neural network models when there are few labeled examples available. The common approach is to take a pre-trained network in a similar task and finetune the model parameters. This is usually done blindly without a pre-selection from a set of pre-trained models, or by finetuning a set of models trained on different tasks and selecting the best performing one by cross-validation. We address this problem by proposing an approach to assess the relationship between visual tasks and their task-specific models. Our method uses Representation Similarity Analysis (RSA), which is commonly used to find a correlation between neuronal responses from brain data and models. With RSA we obtain a similarity score among tasks by computing correlations between models trained on different tasks. Our method is efficient as it requires only pre-trained models, and a few images with no further training. We demonstrate the effectiveness and efficiency of our method for generating task taxonomy on Taskonomy dataset. We next evaluate the relationship of RSA with the transfer learning performance on Taskonomy tasks and a new task: Pascal VOC semantic segmentation. Our results reveal that models trained on tasks with higher similarity score show higher transfer learning performance. Surprisingly, the best transfer learning result for Pascal VOC semantic segmentation is not obtained from the pre-trained model on semantic segmentation, probably due to the domain differences, and our method successfully selects the high performing models.

研究の動機と目的

• 微調整にコストがかかるため、転移学習のための最適な事前学習モデルを選択する課題に対処すること。
• 微調整や追加学習を一切行わず、事前学習済みモデルとわずかな画像のみを用いて、視覚的タスク間の関係性を推定する効率的な手法を開発すること。
• 表現類似度（RSAを用いて測定）が、下流の転移学習性能と強く相関することを示すこと。
• 同じタスクで学習されたモデルが、ドメインシフトのため、必ずしも最良の一般化性能を示すとは限らず、RSAがより優れた代替モデルを同定できることを示すこと。

提案手法

• 深層ニューラルネットワークの事前学習済みモデルの表現同士の相関に基づく類似度スコアを計算するために、表現類似度分析（RSA）を用いる。
• 微調整や追加学習を一切行わず、各タスクからランダムに選択されたわずかな画像のみを用いて類似度スコアを計算する。
• Taskonomyデータセットから得た、さまざまな視覚的タスク（例：分類、セグメンテーション、深度推定）で学習されたモデルの表現を比較するためにRSAを適用する。
• Pascal VOCで学習された小型で軽量なモデルを参照として、Taskonomyのモデルとの類似度スコアを計算する。
• 参照モデルとのRSA類似度スコアに基づいてモデルをランク付けすることで、転移学習のための効率的なモデル選択を可能にする。
• アブレーションスタディにおいて、モデルサイズ、画像枚数、学習段階の変化に対しても、本手法の頑健性を検証する。

実験結果

リサーチクエスチョン

• RQ1 RSAは、微調整を伴わず、視覚的タスク間の類似度を効率的に推定できるか？
• RQ2 RSA類似度スコアは、下流の転移学習性能と相関しているか？
• RQ3 モデルサイズ、画像枚数、学習段階の変化に対して、類似度ランクは頑健か？
• RQ4 ドメインシフトの状況下で、RSAは同じタスクで学習されたモデルよりも優れた事前学習モデルを同定できるか？
• RQ5 計算効率において、既存の手法（例：Taskonomy）を上回りながら、予測精度を維持できるか？

主な発見

• Taskonomyの17のタスクのうち16つで、RSAによって選ばれたモデルが、実際の転移学習性能に基づく上位5位内に入った。
• 17のTaskonomyタスク全体を通じて、RSA類似度スコアと転移学習性能の間に強い相関（ρ = 0.70, rs = 0.76）が観察された。
• Pascal VOCのセマンティックセグメンテーションタスクでは、RSA類似度スコアが高いモデルがより高いmIoUスコアを達成し、最良の性能を示したモデル（シーンクラス）はmIoU = 0.6529を達成した。
• Taskonomyのセマンティックセグメンテーションモデルは、3Dタスクや他のセマンティックタスクと比較してRSAスコアが低く、転移性能も低かったことから、ドメインシフトの影響が顕著に現れた。
• 高RSAスコアのタスク（例：オブジェクトクラス、シーンクラス）で初期化されたモデルは、一部のケースでImageNet事前学習モデルを上回り、mIoUが0.6529に達した（ランダム初期化では0.6083）。
• 小さなモデルと少ない画像でも、大規模かつ完全に学習されたモデルと同程度の類似度ランクが得られ、モデルサイズや学習データ量の変化に対しても本手法は頑健であることが示された。