[論文レビュー] From Common to Special: When Multi-Attribute Learning Meets Personalized Opinions

Zhiyong Yang, Qianqian Xu+2 more|arXiv (Cornell University)|Nov 18, 2017

Text and Document Classification Technologies被引用数 4

ひとこと要約

本稿では、共通認知、属性固有バイアス、ユーザー固有バイアスの3要素に分解する3段階分解を用いて、ユーザー固有属性予測と多属性相関を統合する階層的マルチタスク学習モデルを提案する。LassoおよびグループLasso正則化を組み合わせることで特徴選択が可能となり、二値属性学習および相対的属性学習の両タスクで最先端の性能を達成し、実験的評価においてグローバル、ユーザー固有、マルチタスクのベースラインを上回った。

ABSTRACT

Visual attributes, which refer to human-labeled semantic annotations, have gained increasing popularity in a wide range of real world applications. Generally, the existing attribute learning methods fall into two categories: one focuses on learning user-specific labels separately for different attributes, while the other one focuses on learning crowd-sourced global labels jointly for multiple attributes. However, both categories ignore the joint effect of the two mentioned factors: the personal diversity with respect to the global consensus; and the intrinsic correlation among multiple attributes. To overcome this challenge, we propose a novel model to learn user-specific predictors across multiple attributes. In our proposed model, the diversity of personalized opinions and the intrinsic relationship among multiple attributes are unified in a common-to-special manner. To this end, we adopt a three-component decomposition. Specifically, our model integrates a common cognition factor, an attribute-specific bias factor and a user-specific bias factor. Meanwhile Lasso and group Lasso penalties are adopted to leverage efficient feature selection. Furthermore, theoretical analysis is conducted to show that our proposed method could reach reasonable performance. Eventually, the empirical study carried out in this paper demonstrates the effectiveness of our proposed method.

研究の動機と目的

• 既存手法がユーザー固有属性と多属性相関を別々に扱うという限界を是正すること。
• 複数の属性間の内在的関係と、属性認識における個人差の両方を同時にモデル化すること。
• 属性間で共有される知識を捉えながらも、個々のアノテータの好みに適応する統合フレームワークの構築。
• 構造化された正則化を用いて、パーソナライズド属性学習における一般化性能と特徴選択を向上させること。
• 提案手法の有効性を、二値および相対的属性学習ベンチマークにおいて検証すること。

提案手法

• モデルは予測器重みを3つの要因に分解する：共有される共通認知要因、属性固有バイアス要因、ユーザー固有バイアス要因。
• 3要素分解を用いて、複数の属性にわたるグローバルな合意と個々のアノテータの好みを同時にモデル化する。
• LassoおよびグループLasso正則化を適用することで、属性およびユーザーにわたる効率的で構造的な特徴選択が可能になる。
• 正則化された学習問題を解くために、加速化された近位勾配法を用いて最適化を実行する。
• エンドツーエンドでクラウドソーシングされたラベルを用いて学習し、ファインチューニングによりユーザー固有データに適応する。
• 相対的属性学習の文脈では、画像ペアの特徴をモデルの順序付けベースの定式化に適合させる。

実験結果

リサーチクエスチョン

• RQ1 どのようにして、統合フレームワーク内でユーザー固有の属性好みと複数属性間の内在的相関を同時にモデル化できるか？
• RQ2 モデル重みの共通から特化への分解が、属性認識における共有知識と個人差の両方を効果的に捉えられるか？
• RQ3 構造化された正則化（LassoおよびグループLasso）を組み込むことで、パーソナライズド属性学習における特徴選択と一般化性能がどの程度向上するか？
• RQ4 提案手法は、グローバル、ユーザー固有、マルチタスクのベースラインと比較して、異なるデータ分割において、精度と頑健性の点でどの程度優れているか？
• RQ5 理論的分析は、現実的な仮定の下で、提案手法の収束性と一貫性を裏付けるものか？

主な発見

• 提案手法は、すべてのデータ分割において、二値属性学習および相対的属性学習タスクで最高の平均分類精度を達成した。
• 二値属性データセットでは、40%のデータを訓練に使用した場合、最良のベースライン（rMTFL-U）を最大4.2%の精度向上で上回った。
• 相対的属性データセットでは、特に低データ環境下で、すべてのベースラインと比較して平均順位付け精度で顕著な向上を示した。
• 理論的分析により、真のパラメータを高い確率で推定でき、良好な一般化性能を達成できることを示した。
• 実験的結果により、共通認知、属性固有、ユーザー固有要因の統合が、いずれかの要因を別個にモデル化するよりも優れた性能をもたらすことが確認された。
• LassoおよびグループLasso正則化の使用により、効果的な特徴選択が可能になり、過学習の低減とモデルの解釈性の向上が達成された。