[論文レビュー] Learning Functions to Study the Benefit of Multitask Learning

Gabriele Bettgenhäuser, Michael A. Hedderich+1 more|arXiv (Cornell University)|Jun 9, 2020

Topic Modeling参考文献 31被引用数 5

ひとこと要約

本稿では、データセットサイズ（n）、タスク数（T）、タスクの関連性（AMI）を制御可能なカスタムタスクシミュレータを用いて、系列ラベル付けにおけるマルチタスク学習（MTL）のパフォーマンスを定量化する数学的式を、シンボリック回帰に基づいて経験的に発見する手法を提案する。主な貢献は、√n、√T、および√AMIへのパフォーマンス依存性の同定であり、理論的期待を裏付けるとともに、タスク関連性との明示的かつ解釈可能な関係を拡張するものである。

ABSTRACT

We study and quantify the generalization patterns of multitask learning (MTL) models for sequence labeling tasks. MTL models are trained to optimize a set of related tasks jointly. Although multitask learning has achieved improved performance in some problems, there are also tasks that lose performance when trained together. These mixed results motivate us to study the factors that impact the performance of MTL models. We note that theoretical bounds and convergence rates for MTL models exist, but they rely on strong assumptions such as task relatedness and the use of balanced datasets. To remedy these limitations, we propose the creation of a task simulator and the use of Symbolic Regression to learn expressions relating model performance to possible factors of influence. For MTL, we study the model performance against the number of tasks (T), the number of samples per task (n) and the task relatedness measured by the adjusted mutual information (AMI). In our experiments, we could empirically find formulas relating model performance with factors of sqrt(n), sqrt(T), which are equivalent to sound mathematical proofs in Maurer[2016], and we went beyond by discovering that performance relates to a factor of sqrt(AMI).

研究の動機と目的

• 系列ラベル付けタスクにおけるマルチタスク学習（MTL）モデルの一般化パターンを理解し、定量的に評価すること。
• タスク関連性が既知であることやデータがバランスしていることといった強い仮定に依存する理論的MTL境界の限界を克服すること。
• 調整可能なパラメータを備えた多様なMTL学習シナリオを生成可能な制御可能なタスクシミュレータを開発すること。
• シンボリック回帰を用いて、n、T、AMIなどの主要要因とモデルパフォーマンスを結ぶ解釈可能な数学的式を学習すること。
• 実践者に対して、データ駆動型かつ解釈可能なフレームワークを提供し、MTLタスクのグループ化やハイパーパramータ選定を支援すること。

提案手法

• タスク数（T）、1タスクあたりのサンプル数（n）、調整付き相互情報量（AMI）で測定されるタスク関連性を制御可能なパラメータとして持つ、合成された系列ラベル付けタスクを生成するためのシミュレータを設計した。
• シミュレータは、n、T、AMIのさまざまな設定においてMTLモデルの訓練データを生成し、パフォーマンス指標（F1スコア）を収集した。
• 収集したデータに対してシンボリック回帰を適用し、F1スコアと入力パラメータ（n、T、AMI）との間の閉形式の式を学習した。
• まず、各タスクに等しいnを持つバランスの取れたデータセットで手法をテストし、その後、異なるタスクでnが異なる不均衡な設定に拡張した。
• 最小のテスト平均二乗誤差（MSE）に基づいて、最も適合するシンボリック式を選択した。その中で式（6）はMSE 0.009を達成した。
• このアプローチはケプラーの科学的アプローチを模倣しており、理論的根拠を求める前に、データから関数的関係を発見するものである。

実験結果

リサーチクエスチョン

• RQ1 マルチタスク学習におけるモデルパフォーマンスは、タスク数（T）が増加するに従ってどのように変化するか？
• RQ2 1タスクあたりのトレーニングサンプル数（n）が増加するに従って、パフォーマンスはどのように変化するか？
• RQ3 タスク関連性（AMIで測定）がMTLパフォーマンスに与える定量的影響は何か？
• RQ4 タスクのトレーニングサイズが不均一な不均衡データセットでは、これらの関係はどのように変化するか？
• RQ5 シンボリック回帰は、既知の理論的収束レートを反映し、それを拡張する解釈可能なデータ駆動型数式を発見できるか？

主な発見

• MTLモデルのF1スコアは√nに比例することが確認され、先行研究で観察された理論的収束レートを裏付けるものである。
• パフォーマンスは√Tに依存しており、先行研究からの理論的期待と整合的である。
• 新規の発見として、パフォーマンスが√AMIに比例することが判明し、タスク関連性とMTL効果の間の直接的かつ解釈可能な関係を明らかにした。
• 不均衡な設定では、F1スコアは主に最小のデータセット（n_ner）に依存し、√n_nerが支配的要因として浮き彫りになった。
• シンボリック回帰モデルは、最良の適合式に対してテストMSE 0.009を達成し、強い経験的適合を示した。
• 発見された式 F1 = √((log(T) + 0.45) * (AMI*n / (AMI + 0.6))) は、T、n、AMIの共同影響を高い精度で捉えている。