[論文レビュー] Attributes for Improved Attributes: A Multi-Task Network for Attribute Classification

Emily Hand, Rama Chellappa|arXiv (Cornell University)|Apr 25, 2016

Face recognition and analysis参考文献 25被引用数 25

ひとこと要約

本論文は、共有された低レベル層を介して属性間の関係を活用し、関連する属性に対してグループ化された高レベル層を設け、スコアレベルの統合ネットワークを備えた補助ネットワーク（MCNN-AUX）を備えたマルチタスク深層畳み込みニューラルネットワーク（MCNN）を提案する。この手法は、CelebAおよびLFWAで最先端の性能を達成し、パラメータ数を4倍に削減し、学習時間を16倍短縮し、従来手法に比べて最大15%の精度向上を実現した。

ABSTRACT

Attributes, or semantic features, have gained popularity in the past few years in domains ranging from activity recognition in video to face verification. Improving the accuracy of attribute classifiers is an important first step in any application which uses these attributes. In most works to date, attributes have been considered to be independent. However, we know this not to be the case. Many attributes are very strongly related, such as heavy makeup and wearing lipstick. We propose to take advantage of attribute relationships in three ways: by using a multi-task deep convolutional neural network (MCNN) sharing the lowest layers amongst all attributes, sharing the higher layers for related attributes, and by building an auxiliary network on top of the MCNN which utilizes the scores from all attributes to improve the final classification of each attribute. We demonstrate the effectiveness of our method by producing results on two challenging publicly available datasets.

研究の動機と目的

• 従来の手法では顔貌属性を独立して扱うという制限に対処する。これは、口紅と濃いメイクの間には強い相関関係があるにもかかわらずである。
• 深層学習を用いて属性間の意味的関係を活用することで、属性分類の精度を向上させる。
• 高価な事前学習やデータアライメントに依存せずに、モデルの複雑さと学習時間を削減する。
• 統一されたマルチタスクフレームワークを用いて、大規模データセット（CelebAおよびLFWA）で最先端の性能を示す。
• 属性スコアが互いにどのように影響を与えるかを明示的にモデル化する補助ネットワークを開発する。

提案手法

• すべての属性に共通する最も低い畳み込み層を備えたマルチタスク深層CNN（MCNN）を設計し、共有された低レベル特徴を学習する。
• 関連する属性（例：メイク、口紅、ひげ）を高レベル層でグループ化し、特徴表現を共有することで、意味的依存関係を捉える。
• すべての属性の元のスコアを入力として受け取り、属性間の関係を学習して各属性の予測を改善する補助ネットワーク（AUX）を導入する。
• MCNNとAUXをエンドツーエンドのバックプロパゲーションを用いて同時に学習し、すべての属性の交差エントロピー損失を最適化する。
• 過学習を軽減するため、特にLFWAデータセットが小さいことに対応して、データオーグメンテーション（ジャッタリング）を用いる。
• 事前学習、アライメント、部位抽出を避けており、性能向上はすべてマルチタスクアーキテクチャに依存する。

実験結果

リサーチクエスチョン

• RQ1 共有表現を通じて属性間の関係をモデル化することで、顔貌属性分類の精度が向上するか？
• RQ2 個々の分類器と比較して、マルチタスク深層学習フレームワークはモデルの複雑さと学習時間を削減するか？
• RQ3 属性スコアを統合する補助ネットワークは、MCNN単体の性能を上回る最終的な分類を可能にするか？
• RQ4 属性間の関係（例：口紅 → 女性、濃いメイク → 口紅）は、学習されたモデル重みにどのように現れるか？
• RQ5 事前学習を一切行わない状態でも、MCNN-AUXフレームワークはCelebAやLFWAといった多様なデータセットにどれほど一般化可能か？

主な発見

• MCNN-AUXフレームワークは、CelebAおよびLFWAの両方で最先端の性能を達成し、Liuらの手法を含む従来手法を複数の属性で上回った。
• CelebAでは、『濃いメイク』や『薄い肌』といった属性について、ベースライン手法に比べて最大15%の精度向上を達成した。
• パラメータ数は6400万から1600万に削減され、4倍の削減が達成された。これは属性間でのパラメータ共有によるものである。
• 独立したCNNと比較して、学習時間が16倍以上短縮され、顕著な効率性の向上が示された。
• 補助ネットワーク（AUX）は意味のある属性間の関係を学習しており、ヒートマップでは『口紅』や『濃いメイク』が『女性』の予測に強い正の影響を与えていることが確認された。
• 事前学習を行わずとも、MCNN-AUXはLFWAの18属性中11属性でLiuらの手法を上回り、特に『ほてり』で11%、『薄い肌』で10%の向上を達成した。