[論文レビュー] Variational Multi-Task Learning with Gumbel-Softmax Priors

Jiayi Shen, Xiantong Zhen+2 more|arXiv (Cornell University)|Nov 9, 2021

Domain Adaptation and Few-Shot Learning被引用数 9

ひとこと要約

本稿では、タスク固有の表現と分類器を、Gumbel-Softmaxで学習された事前分布を用いてタスクの関連性をモデル化する、確率的ベイズ枠組みである変分的マルチタスク学習（VMTL）を提案する。各タスクの事前分布を他のタスクの変分後確率分布の微分可能混合重みで条件づけることで、表現と分類器の両方における統合的かつデータ駆動型の知識伝達を可能にし、限られたデータにおける5つのマルチタスクベンチマークで最先端の性能を達成する。

ABSTRACT

Multi-task learning aims to explore task relatedness to improve individual tasks, which is of particular significance in the challenging scenario that only limited data is available for each task. To tackle this challenge, we propose variational multi-task learning (VMTL), a general probabilistic inference framework for learning multiple related tasks. We cast multi-task learning as a variational Bayesian inference problem, in which task relatedness is explored in a unified manner by specifying priors. To incorporate shared knowledge into each task, we design the prior of a task to be a learnable mixture of the variational posteriors of other related tasks, which is learned by the Gumbel-Softmax technique. In contrast to previous methods, our VMTL can exploit task relatedness for both representations and classifiers in a principled way by jointly inferring their posteriors. This enables individual tasks to fully leverage inductive biases provided by related tasks, therefore improving the overall performance of all tasks. Experimental results demonstrate that the proposed VMTL is able to effectively tackle a variety of challenging multi-task learning settings with limited training data for both classification and regression. Our method consistently surpasses previous methods, including strong Bayesian approaches, and achieves state-of-the-art performance on five benchmark datasets.

研究の動機と目的

• 各タスクの訓練データが限られている状況におけるマルチタスク学習の課題に取り組むこと、特に個々のモデルが過学習するリスクを軽減すること。
• 統一された確率的フレームワーク内で、タスク間で共有される表現と分類器を同時に学習すること。
• 学習可能な事前分布を用いて、微分可能かつデータ駆動的な方法で複雑で非線形なタスクの関連性をモデル化すること。
• 関連するタスクからのインダクティブバイアスを、整合的な不確実性モデリングを通じて活用することで一般化性能を向上させること。
• 低データ、少データマルチタスク設定において、既存のベイズ的手法およびディープラーニングベースのマルチタスク学習手法を上回ること。

提案手法

• VMTLは、タスク固有の表現と分類器の両方に対する統合的変分推論問題としてマルチタスク学習を定式化する。
• 各タスクの潜在変数に対する条件付き事前分布を導入し、その事前分布は他の関連するタスクの変分後確率分布の混合である。
• 事前分布の混合重みは、Gumbel-Softmax再パラメータ化トリックによってパrameter化され、エンドツーエンドのバックプロパゲーションが可能になる。
• 変分後確率分布のパラメータと、タスク関連事前分布選択のためのGumbel-Softmaxの温度パラメータおよびログオフセットを同時に最適化する。
• 推論の高速化のため、分類器生成をタスク間で共有するアモアタイズド推論（VMTL-AC）を導入する。
• 共有されたラベル／ターゲット空間を有するが、入力ドメインが異なる分類および回帰タスクに適用可能である。

実験結果

リサーチクエスチョン

• RQ1 統一された変分ベイズフレームワークは、マルチタスク学習において、表現と分類器の両方で共有知識を同時に活用できるか？
• RQ2 低データ環境下での性能向上を目的として、微分可能かつデータ駆動的な方法でタスクの関連性をどのようにモデル化できるか？
• RQ3 他のタスクの後確率分布の混合事前分布をGumbel-Softmaxで学習することで、固定またはヒューリスティックな事前分布よりも一般化性能が向上するか？
• RQ4 不確実性モデリングを組み込んだ変分推論は、ポイント推定やヒューリスティック正則化手法よりも、少データマルチタスク学習で優れた性能を示せるか？
• RQ5 本手法は、低データ環境下における分布シフトやアドバーシャル攻撃に対して、どの程度頑健であるか？

主な発見

• VMTLは5つのマルチタスク学習ベンチマークで一貫して最先端の性能を達成し、強力なベイズ的手法およびディープラーニングベースのベースラインを上回った。
• 最も挑戦的な5％の訓練データ分割において、CUB-200-2011データセットで25.2％の正確度を達成し、次に優れた手法（20.6％）を顕著に上回った。
• VMTL-ACは、アモアタイズド推論によりVMTLよりも高速に収束し、競争力のある性能を維持した。
• モデルは、分類器生成における平均特徴表現の使用のおかげで、アドバーシャル攻撃に対して頑健であることが示された。
• 回転させたMNIST回帰タスクでは、VMTLとVMTL-ACが平均NMSEが最低となり、VMTLは17.1 ± 0.1、VMTL-ACは17.5 ± 0.1を記録した。
• VMTLは、Bakkerら[4]のようなベイズ手法や、Longら[36]のようなポイント推定手法ですらも上回り、不確実性モデリングを組み込んだ変分推論の優位性を示した。