[論文レビュー] Deep Multi-Task Learning via Generalized Tensor Trace Norm

Yi Zhang, Yu Zhang+1 more|arXiv (Cornell University)|Feb 12, 2020

Tensor decomposition and applications参考文献 29被引用数 4

ひとこと要約

本稿では、すべての可能なテンソルフラットネーションの行列トレースノルムを組み合わせることで、パラメータテンソル内のすべての低ランク構造を捉える一般化テンソルトレースノルム（GTTN）を提案する。この手法は、これらのフラットネーションの最適な組み合わせ重みを学習し、自動的に重要度推定を可能にするとともに、実世界のデータセットにおいて従来のテンソルトレースノルムを上回る性能向上を実現する。

ABSTRACT

The trace norm is widely used in multi-task learning as it can discover low-rank structures among tasks in terms of model parameters. Nowadays, with the emerging of big datasets and the popularity of deep learning techniques, tensor trace norms have been used for deep multi-task models. However, existing tensor trace norms cannot discover all the low-rank structures and they require users to manually determine the importance of their components. To solve those two issues together, in this paper, we propose a Generalized Tensor Trace Norm (GTTN). The GTTN is defined as a convex combination of matrix trace norms of all possible tensor flattenings and hence it can discover all the possible low-rank structures. In the induced objective function, we will learn combination coefficients in the GTTN to automatically determine the importance. Experiments on real-world datasets demonstrate the effectiveness of the proposed GTTN.

研究の動機と目的

• 既存のテンソルトレースノルムが可能なフラットネーションのサブセットしか使用しないため、一部の低ランク構造を逃してしまうという制限を解消すること。
• 既存手法がすべてのテンソルフラットネーションに等しい重要度を仮定しているため生じる性能の劣化を克服すること。
• 異なるテンソルフラットネーションの重要度をデータ駆動的な組み合わせ係数によって自動で学習する統一的な正則化フレームワークを構築すること。
• 学習された低ランク構造に最も寄与するテンソル軸やフラットネーションを特定することで、モデルの解釈性を向上させること。
• GTTNの理論的分析を提供し、双対ノルムおよび一般化バウンドを導出することで、実用的応用を支えるものとする。

提案手法

• p方向パラメータテンソルのすべての可能なフラットネーションにおける行列トレースノルムの凸結合としてGTTNを定義する。
• GTTNにおける組み合わせ係数を、正則化とタスク固有損失のバランスを取る目的関数によって最適化可能なパラメータとして扱う。
• p方向テンソルを行列に再形状する2^p - 2通りのすべての方法を考慮するテンソルフラットネーション戦略を採用し、特徴的なトレースノルムを持つ2^{p-1} - 1通りのユニークなフラットネーションに焦点を当てる。
• GTTNとタスク固有損失を含む正則化された目的関数を定式化し、深層学習モデルにおけるエンドツーエンド学習を可能にする。
• GTTNの双対ノルムを分析し、一般化バウンドを導出することで理論的保証を提供する。
• ImageCLEF、Office-31、Office-Home、Office-Caltech10といった複数の実世界データセットに本手法を実装・評価し、pool5やfc7などの異なる層からの特徴を用いる。

実験結果

リサーチクエスチョン

• RQ1 すべての可能なテンソルフラットネーションを含む一般化テンソルトレースノルムは、従来のテンソルトレースノルムよりも包括的な低ランク構造を捉えられるか？
• RQ2 テンソルフラットネーションの組み合わせ係数を学習することで、すべてのコンポーネントに等しい重要度を仮定する手法よりも優れた性能が得られるか？
• RQ3 学習された組み合わせ係数は、多タスク学習問題において最も関連性のあるテンソル軸や構造的パターンを解釈可能な形で明らかにできるか？
• RQ4 GTTNの計算複雑度はテンソルの次数にどのようにスケーリングされるか？実用的な深層学習応用に適しているか？
• RQ5 実世界のベンチマークにおいて、SOTA（最先端）の多タスク学習手法と比較してGTTNの一般化性能はどの程度か？

主な発見

• GTTNはImageCLEF、Office-31、Office-Home、Office-Caltech10の各データセットでSOTAの多タスク学習ベースラインを上回り、一貫した性能向上を示した。
• GTTNにおける学習された組み合わせ係数（α）は、データセットや学習割合に応じて変動し、異なるテンソルフラットネーションのデータ依存的重みを示している。
• fc7特徴量とλ=0.25を用いたImageCLEFデータセットでは、θ=0.5、0.6、0.7の各条件下でα値がそれぞれ0.3718、0.2154、0.4128となり、学習データに応じた動的適応が確認された。
• fc7特徴量とλ=0.65を用いたOffice-31データセットでは、θ=0.7の条件下でα値が0.3279、0.2399、0.4322にシフトし、データの可用性に応じた構造的重みの変化が示された。
• GTTNは、全テストデータセットおよび特徴層で最高の性能を達成し、多様な低ランク構造を捉える能力を確認した。
• 理論的分析により、GTTNが明確に定義された双対ノルムと一般化バウンドを持つことが確認され、統計的学習における応用を支持するものとなった。