[論文レビュー] Learning convolutional neural network to maximize Pos@Top performance measure

Yanyan Geng, Ru‐Ze Liang+5 more|arXiv (Cornell University)|Sep 27, 2016

Face and Expression Recognition参考文献 29被引用数 41

ひとこと要約

本論文は、ランキング指向機械学習における重要な指標であるPos@Top性能指標を直接最適化する新しい畳み込みニューラルネットワーク（CNN）フレームワークを提案する。正例と上位ランクの負例との間のマージンを1に保つヒンジ損失関数を定式化し、ラグランジュ乗数と勾配降下法を用いた交互最適化により、画像、テキスト、音声のベンチマークにおいて、標準CNNおよび先行のPos@Top最適化線形モデルを上回る最先端のPos@Top性能を達成する。

ABSTRACT

In the machine learning problems, the performance measure is used to evaluate the machine learning models. Recently, the number positive data points ranked at the top positions (Pos@Top) has been a popular performance measure in the machine learning community. In this paper, we propose to learn a convolutional neural network (CNN) model to maximize the Pos@Top performance measure. The CNN model is used to represent the multi-instance data point, and a classifier function is used to predict the label from the its CNN representation. We propose to minimize the loss function of Pos@Top over a training set to learn the filters of CNN and the classifier parameter. The classifier parameter vector is solved by the Lagrange multiplier method, and the filters are updated by the gradient descent method alternately in an iterative algorithm. Experiments over benchmark data sets show that the proposed method outperforms the state-of-the-art Pos@Top maximization methods.

研究の動機と目的

• 既存のPos@Top最適化手法が線形モデルに依存しており、複雑なマルチインスタンスデータでは性能が劣ることの制限を是正すること。
• Pos@Top指標を直接最適化するディーブラーニングフレームワークを開発すること。この指標は、正例が最初の負例よりも前にランク付けされる割合を評価する。
• CNNフィルタと分類器重みのエンドツーエンド学習を可能にし、ℓ₂正則化を用いて過学習を防止しながらPos@Topを最大化すること。
• CNNベースのアプローチが、標準CNNおよびPos@Top最適化のための先行線形モデルを著しく上回ることを示すこと。

提案手法

• 正例のスコアが上位ランクの負例のスコアより低くなるような予測に対して、マージンが1であるヒンジ損失関数を定式化する。
• ヒンジ損失、分類器重みuとCNNフィルタWに対するℓ₂正則化、およびマージン違反のためのスラック変数ξiを組み合わせた目的関数を定義する。
• 交互最小化により最適化問題を解く：分類器重みuは双対形式とラグランジュ乗数を用いて更新され、CNNフィルタWは勾配降下法で更新される。
• 各マルチインスタンスデータポイントXiに対して、CNN特徴マップのマックスプーリングを用いて固定サイズの表現g(Xi)を生成する。
• 最適化問題の双対形式を用いることでフィルタ学習を分離し、各フィルタw_kを勾配降下法で独立して更新可能にする。
• マルチクラス分類にはワンオーバー・アラウンズ戦略を適用し、さまざまなデータタイプのモデル評価には10分割交差検証を用いる。

実験結果

リサーチクエスチョン

• RQ1 微分不能かつ非線形なPos@Top性能指標を直接最大化できるように、ディープCNNアーキテクチャを効果的に訓練できるか？
• RQ2 マルチインスタンスデータにおけるランク付け性能に関して、Pos@Top最適化のための線形モデルと比較して、CNNベースのモデルはどのように差をつけるか？
• RQ3 分類器とCNNフィルタの両方にℓ₂正則化を組み込むことで、Pos@Top最適化における一般化性能が向上し、過学習が防止されるか？
• RQ4 提案された交互最適化アルゴリズムは、Pos@Top指標を最大化しつつ、CNNフィルタと分類器重みの両方を効果的に学習できるか？

主な発見

• 提案されたCNNベースのPos@Top最大化手法は、Caltech-256（画像）、Semeval-2010（テキスト）、SAD（音声）の3つのベンチマークデータセットにおいて、交差エントロピー損失で訓練された標準CNNをすべて上回る性能を達成した。
• 本手法は、すべて線形モデルであるTopPush、AATP、InfinitePushを含む、既存の最先端Pos@Top最適化手法よりも高い平均Pos@Topスコアを達成した。
• 学習可能なフィルタを備えたCNNの導入により、マルチインスタンスデータに対する表現学習が向上し、正例が最初の負例よりも前にランク付けされるよう改善された。
• 双対形式と勾配降下法を用いた交互最適化アルゴリズムは、異なるデータモダリティにわたり一貫した性能向上を示しており、有効であることが裏付けられた。
• 分類器重みとCNNフィルタの両方にℓ₂正則化を組み込むことで、トレーニングデータにおける一般化性能が顕著に向上し、過学習が防止された。