[論文レビュー] Context Aware Machine Learning

Yun Zeng|arXiv (Cornell University)|Jan 10, 2019

Domain Adaptation and Few-Shot Learning参考文献 64被引用数 7

ひとこと要約

本論文は、条件付き確率分布を文脈フリーおよび文脈感受性のコンポonentに分解することにより、文脈認識型機械学習の統一的確率的枠組みを導入する。これにより、埋め込みを2つの重み付きベクトルに分割する新しい埋め込み分解公式（EDF）が得られ、従来のモデル—文書埋め込み、アテンション機構、LSTMなど—を、理論的根拠に基づいた原理的再設計によって性能向上を図り、収束速度の向上を実現する。

ABSTRACT

We propose a principle for exploring context in machine learning models. Starting with a simple assumption that each observation may or may not depend on its context, a conditional probability distribution is decomposed into two parts: context-free and context-sensitive. Then by employing the log-linear word production model for relating random variables to their embedding space representation and making use of the convexity of natural exponential function, we show that the embedding of an observation can also be decomposed into a weighted sum of two vectors, representing its context-free and context-sensitive parts, respectively. This simple treatment of context provides a unified view of many existing deep learning models, leading to revisions of these models able to achieve significant performance boost. Specifically, our upgraded version of a recent sentence embedding model not only outperforms the original one by a large margin, but also leads to a new, principled approach for compositing the embeddings of bag-of-words features, as well as a new architecture for modeling attention in deep neural networks. More surprisingly, our new principle provides a novel understanding of the gates and equations defined by the long short term memory model, which also leads to a new model that is able to converge significantly faster and achieve much lower prediction errors. Furthermore, our principle also inspires a new type of generic neural network layer that better resembles real biological neurons than the traditional linear mapping plus nonlinear activation based architecture. Its multi-layer extension provides a new principle for deep neural networks which subsumes residual network (ResNet) as its special case, and its extension to convolutional neutral network model accounts for irrelevant input (e.g., background in an image) in addition to filtering.

研究の動機と目的

• 機械学習における文脈のモデル化に、原理的で確率論的基礎を確立すること。
• 文書埋め込みやLSTMなどの既存モデルにおけるヒューリスティック仮定の限界を解消すること。
• 指数型分布族に基づく単一の理論的枠組みに、多様なディープラーニングアーキテクチャを統合すること。
• 文脈フリーおよび文脈感受性コンポonentを分離する新しい埋め込み分解公式（EDF）を開発すること。
• 文脈認識型アーキテクチャ的改変を通じて、既存モデルの性能向上を実現すること。

提案手法

• 条件付き確率分布にインジケータ変数を導入し、文脈フリーおよび文脈感受性コンポonentを区別する。
• ランダム変数とその埋め込み空間表現との関係を、対数線形単語生成モデルを用いて関係づける。
• 自然指数型分布族の凸性を活用し、埋め込みを文脈フリーおよび文脈感受性ベクトルの重み付き和に分解する埋め込み分解公式（EDF）を導出する。
• 各観測値の文脈フリー度合いを決定する文脈認識型重み関数（χ関数）を定義する。
• EDFを用いて、アテンション、LSTM、残差ネットワークなどの既存モデルを再構築し、文脈認識型バージョンを構築する。
• 生物学的ニューロンを模倣した新しい汎用ニューラルネットワーク層を設計し、χ関数を用いて恒等写像と非線形変換の間をゲート制御する。

実験結果

リサーチクエスチョン

• RQ1 確率論的理論を用いて、文脈を形式的かつ普遍的に機械学習でモデル化することは可能か？
• RQ2 文脈認識型分解を通じて、多様なディープラーニングモデルを再解釈・改善できる統一的フレームワークを導出可能か？
• RQ3 埋め込みを文脈フリーおよび文脈感受性コンポonentに分離する理論的根拠は何か？
• RQ4 提案されたEDFは、アテンション機構、RNN、CNNの性能をどのように向上させるか？
• RQ5 文脈認識型アーキテクチャは、収束速度および予測精度において、元のアーキテクチャを上回る性能を発揮できるか？

主な発見

• 提案された文脈認識型モデルは、元のAroraら（2017）の文書埋め込みモデルを著しく上回り、ベンチマークデータセットで大きな性能向上を達成した。
• 改良版LSTMは、元のアーキテクチャと比較してはるかに高速に収束し、予測誤差も顕著に低減した。
• EDFから導出された新しいアテンション機構により、純粋なアテンションRNNアーキテクチャを実現でき、標準的なRNNと同等またはそれを上回る性能を発揮した。
• 文脈認識型残差ネットワーク（CA-ResNet）は、元のResNetを特別なケースとして包含し、明示的な文脈モデリングにより性能を向上させた。
• 提案されたCA-CNNアーキテクチャは、画像の重要度マップ（サリエンシーマップ）を自然に計算でき、背景ノイズなどの不要な入力をより効果的に処理できるようになった。
• 既存モデルの標準レイヤーを文脈認識型に置き換えることで、アーキテクチャの大幅な見直しを伴わず、複数のベンチマークで顕著な性能向上が得られた。