[論文レビュー] Label Distribution Learning Forests

Wei Shen, Kai Zhao+2 more|arXiv (Cornell University)|Feb 20, 2017

Text and Document Classification Technologies被引用数 52

ひとこと要約

本稿では、任意のラベル分布形をモデル化でき、エンドツーエンドの表現学習を可能にする、微分可能決定木に基づく新規フレームワークであるラベル分布学習フォレスト（LDLFs）を提案する。分布ベースの損失関数と変分バウンディングに基づく更新則を導入することで、複数のLDLタスクおよびコンピュータビジョン応用において最先端の性能を達成する。

ABSTRACT

Label distribution learning (LDL) is a general learning framework, which assigns to an instance a distribution over a set of labels rather than a single label or multiple labels. Current LDL methods have either restricted assumptions on the expression form of the label distribution or limitations in representation learning, e.g., to learn deep features in an end-to-end manner. This paper presents label distribution learning forests (LDLFs) - a novel label distribution learning algorithm based on differentiable decision trees, which have several advantages: 1) Decision trees have the potential to model any general form of label distributions by a mixture of leaf node predictions. 2) The learning of differentiable decision trees can be combined with representation learning. We define a distribution-based loss function for a forest, enabling all the trees to be learned jointly, and show that an update function for leaf node predictions, which guarantees a strict decrease of the loss function, can be derived by variational bounding. The effectiveness of the proposed LDLFs is verified on several LDL tasks and a computer vision application, showing significant improvements to the state-of-the-art LDL methods.

研究の動機と目的

• 制限されたラベル分布形を仮定する既存のラベル分布学習（LDL）手法の限界を解消すること。
• 任意のラベル分布形をモデル化可能な、ディープラーニング互換のLDLフレームワークを開発すること。
• 分布ベースの損失関数を用いて、微分可能決定木のフォレストを統合的に最適化すること。
• 損失関数の単調な減少を保証する理論的裏付けのある葉ノード予測の更新機構を導出すること。

提案手法

• 微分可能決定木を活用し、葉ノード予測の混合により、複雑で任意のラベル分布形をモデル化する。
• フォレスト全体の分布ベースの損失関数を設計し、すべての木の同時最適化を可能にする。
• 変分バウンディングを用いて、損失関数の厳密な減少を保証する閉形式の更新関数を導出する。
• バックプロパゲーションによるエンドツーエンドのバックプロパゲーションによる深層特徴の学習を可能にする表現学習を統合する。
• 勾配ベース最適化のための微分可能性を保証するため、木の中でソフトな意思決定ルールを採用する。
• 訓練中に繰り返し更新則を適用することで、ラベル分布予測を精緻化する。

実験結果

リサーチクエスチョン

• RQ1 微分可能決定木のフォレストは、ラベル分布学習における任意のラベル分布形を効果的にモデル化できるか？
• RQ2 分布ベースの損失関数を用いたフォレストの統合最適化は、既存のLDL手法と比較して学習性能を向上させるか？
• RQ3 提案されたフレームワークは、高い予測精度を維持しながらエンドツーエンドの表現学習をサポートできるか？
• RQ4 導出された葉ノード予測の更新関数は、訓練中に損失関数の単調な減少を効果的に保証できるか？

主な発見

• LDLFsは、複数のベンチマークLDLタスクにおいて、最先端のLDL手法を顕著に上回る性能を達成する。
• 本フレームワークは、分布形に対する制限的仮定を設けず、複雑な非パラメトリックラベル分布を効果的にモデル化できる。
• 表現学習の統合により、モデルがエンドツーエンドで深層特徴を学習でき、特徴表現力が向上する。
• 変分バウンディングに基づく更新則は、損失関数の厳密な減少を保証し、収束安定性を確保する。
• コンピュータビジョン応用における実証的結果から、LDLFsの実世界における実効性が示された。
• 予測精度および分布モデリングの忠実度の両面で、既存のLDLベースラインを上回る性能を発揮した。