[論文レビュー] Fast Multi-Instance Multi-Label Learning

Sheng-Jun Huang, Zhi‐Hua Zhou|arXiv (Cornell University)|Oct 8, 2013

Text and Document Classification Technologies参考文献 22被引用数 6

ひとこと要約

本稿では、すべてのラベルに共通する低次元空間を用い、ランク付け損失を最適化するために確率的勾配降下法（SGD）でラベル固有の線形モデルを学習する、高速かつ効果的なマルチインスタンスマルチラベル学習手法MIMLfastを提案する。従来手法よりも100倍以上高速でありながら、最先端の性能を達成しており、最大18万件のインスタンスを含む大規模データセットにおいて特に優れた性能を発揮する。

ABSTRACT

In many real-world tasks, particularly those involving data objects with complicated semantics such as images and texts, one object can be represented by multiple instances and simultaneously be associated with multiple labels. Such tasks can be formulated as multi-instance multi-label learning (MIML) problems, and have been extensively studied during the past few years. Existing MIML approaches have been found useful in many applications; however, most of them can only handle moderate-sized data. To efficiently handle large data sets, in this paper we propose the MIMLfast approach, which first constructs a low-dimensional subspace shared by all labels, and then trains label specific linear models to optimize approximated ranking loss via stochastic gradient descent. Although the MIML problem is complicated, MIMLfast is able to achieve excellent performance by exploiting label relations with shared space and discovering sub-concepts for complicated labels. Experiments show that the performance of MIMLfast is highly competitive to state-of-the-art techniques, whereas its time cost is much less; particularly, on a data set with 20K bags and 180K instances, MIMLfast is more than 100 times faster than existing MIML approaches. On a larger data set where none of existing approaches can return results in 24 hours, MIMLfast takes only 12 minutes. Moreover, our approach is able to identify the most representative instance for each label, and thus providing a chance to understand the relation between input patterns and output label semantics.

研究の動機と目的

• 大規模データに対して従来のマルチインスタンスマルチラベル学習（MIML）手法が抱える高い計算コストを低減すること。
• 共通の低次元空間を通じてラベル関係を活用することで、性能を損なわず効率を向上させること。
• 解釈可能性を高めるために、各ラベルごとの重要な代表的インスタンスの特定を可能にすること。
• ヒューリスティックなクラスタリングではなく、教師ありモデリングを用いて複雑なラベルのサブコンセプトを発見すること。

提案手法

• MIMLfastは、元の特徴量を低次元の共有空間に写像する共通の線形変換行列 $W_0$ を学習する。
• ラベル固有の重みベクトル $\mathbf{w}_l$ を共有空間上で学習し、ラベルの関連性を予測する。
• 確率的勾配降下法（SGD）を用いて、(バッグ, 関連ラベル, 関連なしラベル) の三つ組をサンプリングすることで近似されたランク付け損失を最適化する。
• 各ラベルに対して予測スコアが最も高いインスタンスをそのラベルの最も代表的なインスタンスとして特定する。
• 共有空間における高スコアインスタンスの分布を分析することで、複雑なラベルのサブコンセプトを発見する。
• ラベル相関を活用するために、共有空間とラベル固有モデルを同時に最適化する。

実験結果

リサーチクエスチョン

• RQ1 共通の低次元空間を用いた線形モデルは、従来手法よりも著しく高速である一方で、マルチインスタンスマルチラベル学習において競争力のある性能を達成できるか？
• RQ2 独立したラベルモデリングと比較して、共有空間の使用は一般化性能と効率性をどの程度向上させるか？
• RQ3 提案手法は、各ラベルごとに重要な代表的インスタンスを特定でき、ラベルの意味的解釈を可能にするか？
• RQ4 複雑なラベルのサブコンセプトを発見することで、モデル性能が向上し、意味的な洞察が得られるか？

主な発見

• 20,000個のバッグと180,000インスタンスを含むデータセットにおいて、MIMLfastは従来のMIML手法よりも100倍以上高速であった。
• 従来手法が24時間以内に完了しなかった大規模なデータセットにおいても、MIMLfastはわずか12分で結果を達成した。
• MIMLfastは競争力のある性能を示し、ImageCLEFデータセットでは平均精度 .972 ± .010、Sceneデータセットでは .770 ± .015を達成した。
• 共有空間を備えないバージョン（V1）はMIMLfastに比べて顕著に性能が劣っており、共有表現学習の有効性が裏付けられた。
• ダミー・ラベルを用いたバージョン（V2）は、ほとんどの指標でMIMLfastと同等の性能を示し、ダミー・ラベルが関連あり・関連なしラベルの適切な分離を提供していることが示された。
• 本手法は、例えば「海」というラベルに対して、異なる視覚的パターンといったサブコンセプトを効果的に特定できた。図6に示す。