[論文レビュー] Discovering Visual Patterns in Art Collections with Spatially-consistent Feature Learning

Xi Shen, Alexei A. Efros+1 more|arXiv (Cornell University)|Mar 7, 2019

Generative Adversarial Networks and Image Synthesis参考文献 45被引用数 9

ひとこと要約

本論文は、隣接する一致同士の空間的一致性を教師信号として用いる自己教師付き手法を提案し、芸術作品コレクション内の類似パターンを発見する。このアプローチは、人為的ラベルなしで、クロスモーダル局所化タスクで最先端の性能を達成し、スタイルに依存しない正確なパターン発見を大規模な芸術データセットで実現する。

ABSTRACT

Our goal in this paper is to discover near duplicate patterns in large collections of artworks. This is harder than standard instance mining due to differences in the artistic media (oil, pastel, drawing, etc), and imperfections inherent in the copying process. The key technical insight is to adapt a standard deep feature to this task by fine-tuning it on the specific art collection using self-supervised learning. More specifically, spatial consistency between neighbouring feature matches is used as supervisory fine-tuning signal. The adapted feature leads to more accurate style-invariant matching, and can be used with a standard discovery approach, based on geometric verification, to identify duplicate patterns in the dataset. The approach is evaluated on several different datasets and shows surprisingly good qualitative discovery results. For quantitative evaluation of the method, we annotated 273 near duplicate details in a dataset of 1587 artworks attributed to Jan Brueghel and his workshop. Beyond artwork, we also demonstrate improvement on localization on the Oxford5K photo dataset as well as on historical photograph localization on the Large Time Lags Location (LTLL) dataset.

研究の動機と目的

• 芸術作品間の繰り返し視覚モチーフの自動発見を通じて、人為的芸術史的分析への依存を低減すること。
• 多様な芸術的メディア、スタイル、変形を伴う類似視覚的要素のマッチングという課題に対処すること。
• 空間的一致性を自己教師信号として活用することで、人為的ラベルなしにドメイン固有の深層特徴を学習すること。
• 大規模な芸術コレクションおよびクロスモーダル局所化タスクにおける本手法の有効性を示すこと。
• 視覚的対応マッチングの評価を目的として、ジャン・ブルヘーおよび彼の研究員らの1,587点の作品からなる新しいアノテート済みデータセットを提供すること。

提案手法

• 隣接する特徴マッチの空間的一致性を教師信号として用い、事前学習済みの深層特徴を自己教師付き学習で微調整する。
• RANSACと投票に基づく幾何的検証パイプラインを用い、画像間で一貫性のあるマッチを特定することで、インスタンスレベルの対応関係を発見する。
• 人為的ラベルなしに、予測マッチの空間的一致性のみを用いて、ターゲット芸術コレクション（例：ブルヘー、Oxford5K、LTLL）上で特徴を学習する。
• 2段階の発見プロセスを適用する：まず局所特徴を抽出し、画像間でマッチングする。次に、幾何的検証とクラスタリングを用いて繰り返しパターンを同定する。
• 学習済み特徴を活用して、Oxford5KおよびLarge Time Lags Location (LTLL) データセットにおけるワンショット局所化を改善する。
• ブルヘー・データセットで特徴を学習し、他のデータセットへの転移性を評価することで、ドメイン固有の微調整が性能向上に寄与することを示す。

実験結果

リサーチクエスチョン

• RQ1 隣接する特徴マッチ間の空間的一致性を、芸術コレクション内の視覚的パターン発見に適した自己教師信号として効果的に利用できるか？
• RQ2 人為的ラベルなしで、多様な芸術的メディアやスタイルにわたるインスタンスレベルのマッチングを、自己教師付き特徴適応戦略がどの程度向上できるか？
• RQ3 深層特徴のドメイン固有の微調整が、歴史的写真局所化などのクロスモーダル局所化タスクにおける性能に与える影響はいかほどか？
• RQ4 提案手法は、高精度に大規模な芸術コレクションにわたる繰り返し視覚的モチーフ（例：特定の人物、物体、構図）を自動で発見できるか？
• RQ5 トレーニングデータの品質とパターンの多様性が、自己教師付き特徴学習アプローチの性能に与える影響は何か？

主な発見

• 提案手法は、ワンショット局所化タスクにおいてLarge Time Lags Location (LTLL) データセットで88.5%の精度を達成し、先行研究のSOTAを上回った。
• Oxford5Kデータセットでは、Oxfordデータセットで微調整後の発見スコアを用いて85.7%のmAPを達成し、[35]でResNet101を用いたSOTA結果と同等の性能を示した。
• ブルヘー・データセットで特徴を微調整したことで、LTLLでの性能が著しく向上（88.5% 対 56.1% のベースライン）、ドメイン固有の適応の価値を示した。
• 定性的な結果から、本手法はブルヘーおよびルーベンスの絵画にわたる同じ円形のフレームや顔貌の特徴といった繰り返しモチーフを効果的に発見していることが示された。
• Oxford5KおよびLTLLの両データセットで、標準的なmax-pooling特徴およびコサイン類似度ベースラインを上回り、LTLLでは21.1%の絶対的向上を達成した。
• ブルヘー・データセットで学習させた方がLTLLで学習させた場合よりも高い性能を示した。これは、トレーニングデータに豊富で繰り返しの多い視覚的パターンが存在するほど、本手法が恩恵を受けることを示唆している。