[論文レビュー] OmniArt: Multi-task Deep Learning for Artistic Data Analysis

Gjorgji Strezoski, Marcel Worring|arXiv (Cornell University)|Aug 2, 2017

Aesthetic Perception and Analysis参考文献 34被引用数 51

ひとこと要約

OmniArt は、共有表現を備えたマルチタスク深層学習フレームワークを用いて美術データを分析し、Rijksmuseum’14 および新しい OmniArt データセットで最先端の結果を、より高速な学習で達成します。

ABSTRACT

Vast amounts of artistic data is scattered on-line from both museums and art applications. Collecting, processing and studying it with respect to all accompanying attributes is an expensive process. With a motivation to speed up and improve the quality of categorical analysis in the artistic domain, in this paper we propose an efficient and accurate method for multi-task learning with a shared representation applied in the artistic domain. We continue to show how different multi-task configurations of our method behave on artistic data and outperform handcrafted feature approaches as well as convolutional neural networks. In addition to the method and analysis, we propose a challenge like nature to the new aggregated data set with almost half a million samples and structured meta-data to encourage further research and societal engagement.

研究の動機と目的

• Efficient なエンドツーエンドの共有データ表現を持つマルチタスク学習手法を美術データ向けに開発する。
• 美術データをベースとする豊富なメタデータを備えた美術館中心の大規模データセット（OmniArt）を作成し、マルチタスク美術分析のベンチマークとする。
• Rijksmuseum Challenge 2014 および OmniArt Challenge で最先端の性能を示す。
• 共有表現が美術属性間の意味的結びつきを活用して精度と効率を向上させることを示す。

提案手法

• ディープ CNN ベース（ResNet-50 が最適と判定）を特徴抽出器として使用する。
• 共有表現層を追加し、それをタスク特有の予測ブロックへ入力する。
• タスク損失を結合損失 L_t = sum_i w_i s_i L_i として統合し、タスクごとのスケールで損失のバランスをとる。
• タスクごとに異なる損失関数を用いる（多クラスのアーティスト属性付与にはカテゴリカルクロスエントロピー、時代にはMean Absolute Error での回帰、材料と種類には多ラベル二値クロスエントロピー）。
• 勾配が共有表現を介して伝播するようエンドツーエンドで訓練し、クロス・タスク学習とタスク間の意味的結びつきを可能にする。
• ベースモデルを選択するための段階的評価を行い、その後マルチタスク構成を最適化し、訓練効率を重視する。

実験結果

リサーチクエスチョン

• RQ1 相互に関連する美術属性間で共有表現を学習することで、単一タスクモデルと比較して予測性能が向上するか。
• RQ2 美術データに対して最良のベース表現を提供するディープ特徴抽出器はどれか。
• RQ3 異種タスクタイプ（分類、回帰、マルチラベル）からの損失を共有マルチタスクモデルでどのようにバランスさせるべきか。
• RQ4 美術分析のマルチタスクにおける最適な共有表現の特徴（サイズ、深さ）は何か。
• RQ5 共有表現は美術品属性間の意味的接続を明らかにし、定量化できるか。

主な発見

• ResNet-50 は評価されたアーキテクチャの中で最良のベース特徴を提供した。
• マルチタスクの OmniArt モデルは、報告された設定で Rijks’14 のタスクおよび OmniArt タスクにおいて、単一タスクのディープネットと手作り特徴を上回った。
• 432,217 の写真リアプロダクションと豊富なメタデータを備えた大規模 OmniArt データセットを構築し、さらなる研究を促進した。
• 共有表現アプローチは複数タスクを一度に学習することで訓練時間を短縮しつつ、予測性能を維持または向上させられる。
• 共有層を介したタスク間相互作用は、タスクが意味的に関連している場合に精度を向上させることができ、マルチタスクアプローチを正当化する。