[論文レビュー] Learning and Interpreting Multi-Multi-Instance Learning Networks

Alessandro Tibo, Manfred Jaeger+1 more|VBN Forskningsportal (Aalborg Universitet)|Oct 26, 2018

Image Retrieval and Classification Techniques参考文献 79被引用数 8

ひとこと要約

この論文は、データをネストされたインスタンスのバッグ（例：文のバッグとしてのドキュメント、語のバッグとしての文）としてモデル化するためのマルチ・マルチ・インスタンス学習（MMIL）を導入し、複数のレベルで入力を集約する新しいバッグ層を備えたニューラルネットワークアーキテクチャを提案する。この手法は、テキスト、引用ネットワーク、ソーシャルネットワークデータにおいて競争力ある分類精度を達成するとともに、インスタンスおよびサブバッグのクラスタリングのための学習済みの記号的ルールを用いて解釈可能な予測を可能にする。

ABSTRACT

We introduce an extension of the multi-instance learning problem where examples are organized as nested bags of instances (e.g., a document could be represented as a bag of sentences, which in turn are bags of words). This framework can be useful in various scenarios, such as text and image classification, but also supervised learning over graphs. As a further advantage, multi-multi instance learning enables a particular way of interpreting predictions and the decision function. Our approach is based on a special neural network layer, called bag-layer, whose units aggregate bags of inputs of arbitrary size. We prove theoretically that the associated class of functions contains all Boolean functions over sets of sets of instances and we provide empirical evidence that functions of this kind can be actually learned on semi-synthetic datasets. We finally present experiments on text classification, on citation graphs, and social graph data, which show that our model obtains competitive results with respect to accuracy when compared to other approaches such as convolutional networks on graphs, while at the same time it supports a general approach to interpret the learnt model, as well as explain individual predictions.

研究の動機と目的

• 従来のマルチインスタンス学習を、ドキュメントが文のバッグであり、文が語のバッグであるような、ネストされた階層的データ構造へと拡張すること。
• インスタンスおよびサブバッグの潜在ラベルを回復させることで、予測のルールベースの説明を可能にする、解釈可能な機械学習を実現すること。
• 集合構造データに対して畳み込みおよびプーリングの誘導的バイアスを一般化する、微分可能なニューラルネットワーク層（バッグ層）を開発すること。
• 実世界の関係データ、特にテキストおよびグラフ構造データを含む、MMILの実用的妥当性を実証すること。
• モデルが集合の集合上の複雑なブール関数を学習できることを示し、表現力豊かな意思決定関数をサポートすること。

提案手法

• MMILフレームワークは、上位レベルのバッグにサブバッグが含まれ、各サブバッグにインスタンスが含まれる構造をモデル化し、ラベルは上位レベルでのみ観測される。
• 重み共有と可変サイズのバッグにおける集約を適用する、新しいバッグ層を導入し、畳み込みおよびプーリング操作を一般化する。
• バッグ層関数は、バッグ内のインスタンスの順序に依存しない（不変である）ため、構造的ロバスト性が保証され、エンドツーエンドの学習が可能になる。
• クラスタリングを用いて、インスタンスおよびサブバッグの潜在ラベルを近似し、その後、解釈のための記号的ルールを抽出する。
• 共有重みをバッグ間で用いることで特徴表現を学習する一方、バックプロパゲーションを用いてエンドツーエンドでネットワークを訓練する。
• 学習済みのクラスタ割り当てと上位レベルラベルとの関係を分析することで、記号的ルールを抽出する。

Figure 1: A positive (left) and a negative (right) top-bag for Example 2.1 . Solid green lines represent positive (sub-) bags while dashed red lines represent negative (sub-) bags.

実験結果

リサーチクエスチョン

• RQ1 ラベルが上位レベルでのみ利用可能な階層的でバッグのバッグ構造のデータから、ディープラーニングモデルが効果的に学習できるか。
• RQ2 モデルの内部表現を用いて、解釈可能性を得るためのインスタンスおよびサブバッグの潜在ラベルを再構築できるか。
• RQ3 提案されたバッグ層が、集合構造データに対して畳み込みおよびプーリング層の誘導的バイアスを一般化するか。
• RQ4 従来の手法と比較して、テキストおよびグラフ分類タスクで競争力ある精度を達成できるか。
• RQ5 クラスタ割り当てから導出された記号的ルールによって、学習済みモデルを解釈できるか。

主な発見

• モデルは、テキスト分類、引用ネットワーク、ソーシャルネットワークデータセットにおいて、最先端のグラフ畳み込みネットワークと同等の競争力ある分類精度を達成する。
• 理論的分析により、バッグ層関数が集合の集合上のすべてのブール関数を表現可能であることが示され、高い表現能力を有することが裏付けられる。
• 準合成データを用いた実験的結果から、モデルがネストされたバッグ構造上の複雑な関数を学習できることを確認する。
• インスタンスおよびサブバッグの潜在クラスタ割り当てを回復させることで、解釈が可能になる。その後、これらの割り当てを用いて記号的ルールを生成する。
• ルール抽出の結果、サブバッグクラスタ v₅ は飛行機クラスと強く関連しており、v₃₁ はギターやキーボードと関連し、v₄ は机と関連していることが判明し、直感的な期待と整合的である。
• ポイントクラウド実験における誤分類は、サブバッグがクラスタ v₄（机）に割り当てられていたことによるものであり、これは誤りの妥当な説明を示唆している。

Figure 2: A bag-layer receiving a bag of cardinality $n=3$ . In this example $k=4$ and $m=5$ .