[論文レビュー] Entity Aware Modelling: A Survey

Rahul Ghosh, Haoyu Yang+6 more|arXiv (Cornell University)|Feb 16, 2023

Privacy-Preserving Technologies in Data被引用数 6

ひとこと要約

本サーベイは、エンティティ固有の特徴（直接提供されたものまたはデータから推定されたもの）を統合することで、多様で低データな環境下でもパーソナライズド予測の性能を向上させる、エンティティに配慮したモデリング（EAM）の構造的フレームワークを提示する。マルチタスク学習、メタラーニング、表現学習の手法を統合し、公平性、不確実性の定量化、知識を活用するAIとの新たな相乗効果を強調する。

ABSTRACT

Personalized prediction of responses for individual entities caused by external drivers is vital across many disciplines. Recent machine learning (ML) advances have led to new state-of-the-art response prediction models. Models built at a population level often lead to sub-optimal performance in many personalized prediction settings due to heterogeneity in data across entities (tasks). In personalized prediction, the goal is to incorporate inherent characteristics of different entities to improve prediction performance. In this survey, we focus on the recent developments in the ML community for such entity-aware modeling approaches. ML algorithms often modulate the network using these entity characteristics when they are readily available. However, these entity characteristics are not readily available in many real-world scenarios, and different ML methods have been proposed to infer these characteristics from the data. In this survey, we have organized the current literature on entity-aware modeling based on the availability of these characteristics as well as the amount of training data. We highlight how recent innovations in other disciplines, such as uncertainty quantification, fairness, and knowledge-guided machine learning, can improve entity-aware modeling.

研究の動機と目的

• 個々のエンティティが外部要因に対して多様な反応を示す低データ環境下におけるパーソナライズド予測の課題に対処すること。
• エンティティ特徴の可用性とトレーニングデータ量の両面に基づいて、既存のエンティティに配慮したモデリング（EAM）手法を体系的に整理すること。
• 不確実性の定量化、公平性、知識を活用する学習といった異分野のイノベーションをEAMに統合し、モデルのロバスト性と実用性を向上させること。
• 現在のEAM手法における限界、たとえばデータの不均衡、バイアスのかかっている測定、展開環境間での一般化の欠如を浮き彫りにすること。
• 水文学、医療、環境科学などの分野における運用意思決定の分野でEAMを発展させるための研究ロードマップを提示すること。

提案手法

• EAM手法を2つの主軸に分類する：(1) 明示的なエンティティ特徴（例：土地被覆、遺伝子データ）の有無、(2) エンティティごとのトレーニングデータ量（低／高）。
• 明示的な特徴が利用できない場合、メタラーニングおよび表現学習技術を用いてデータからエンティティ埋め込みを推定する。
• 共有パラメータとタスク固有パラメータを備えたマルチタスク学習（MTL）フレームワークを採用し、エンティティの多様性をモデル化するが、モデルの複雑性の増加に留意する。
• ドメイン知識と因果推論を活用して、観察データから潜在的なエンティティ特徴の同定性を向上させる。
• 敵対的学習、グループ不変特徴学習、二段階最適化を用いた公平性に配慮した訓練により、エンティティ間のバイアスを低減する。
• 極値予測のシナリオ（例：洪水リスク、気候モデル）におけるロバストネス向上を目的に、モデルパラメータの代替事前分布（例：Gumbel分布、ステューデントのt分布）を検討する。

実験結果

リサーチクエスチョン

• RQ1 機械学習モデルは、低データ環境下でエンティティ固有の特徴を効果的に統合することで、パーソナライズド予測をどのように向上させられるか？
• RQ2 明示的に利用可能なエンティティ特徴を用いるのと、データから特徴を推定するのとで、主な手法的差異とトレードオフは何か？
• RQ3 EAMにおいて公平性を形式的に定義・実装する方法は何か？ これにより、データの不均衡や測定誤差に起因するバイアスを軽減できるか？
• RQ4 不確実性の定量化と知識を活用する学習は、EAMモデルの信頼性と解釈可能性をどのように向上させられるか？
• RQ5 コミュニティや微生物の混合系といったマルチモーダルまたは階層的エンティティ構造を扱うには、EAMモデルはどのように適合できるか？

主な発見

• エンティティに配慮したモデリングは、特にエンティティごとのトレーニングデータが限られる状況下で、固有のエンティティの多様性を考慮することで、パーソナライズド予測の性能を顕著に向上させる。
• メタラーニングや表現学習を用いてデータからエンティティ特徴を推定する手法は、明示的なエンティティメタデータが存在しない状況下でも、有効なパーソナライゼーションを可能にする。
• 敵対的学習とグループ不変特徴を用いた公平性の強制は、不利な立場や代表が薄いエンティティ間でのパフォーマンス格差を低減する。
• 二段階最適化フレームワークにより、予測精度と公平性の最適化を分離可能となり、微分不能な公平性指標に対しても対応可能となる。
• ドメイン固有の事前分布（例：Gumbel分布やt分布）を組み込むことで、洪水リスクや気候モデリングなどの極値予測タスクにおけるモデルの精度が向上する。
• 現在のEAM手法は、展開環境間での公平性とパフォーマンスの一般化に課題を抱えており、ロバストネスに配慮した訓練と評価プロトコルの必要性が浮き彫りになる。