[論文レビュー] DAF:re: A Challenging, Crowd-Sourced, Large-Scale, Long-Tailed Dataset For Anime Character Recognition

Edwin Arkel Rios, Wen-Huang Cheng+1 more|arXiv (Cornell University)|Jan 21, 2021

Video Analysis and Summarization参考文献 17被引用数 7

ひとこと要約

本稿では、3,000クラスにわたる50万枚のアニメ顔画像を含む大規模でクラウドソーシングされた長尾分布データセット DAF:re を紹介する。このデータセットは、アニメキャラクター認識の分野における進展を目的として設計されている。実験の結果、小バッチ（64）および小サイズ画像（128×128）設定下では、微調整されたVision Transformers（ViT）がResNetなどのCNNより優れた性能を示す一方、大バッチ（1024）および大サイズ画像（224×224）設定下ではCNNが優勢であることがわかった。

ABSTRACT

In this work we tackle the challenging problem of anime character recognition. Anime, referring to animation produced within Japan and work derived or inspired from it. For this purpose we present DAF:re (DanbooruAnimeFaces:revamped), a large-scale, crowd-sourced, long-tailed dataset with almost 500 K images spread across more than 3000 classes. Additionally, we conduct experiments on DAF:re and similar datasets using a variety of classification models, including CNN based ResNets and self-attention based Vision Transformer (ViT). Our results give new insights into the generalization and transfer learning properties of ViT models on substantially different domain datasets from those used for the upstream pre-training, including the influence of batch and image size in their training. Additionally, we share our dataset, source-code, pre-trained checkpoints and results, as Animesion, the first end-to-end framework for large-scale anime character recognition: https://github.com/arkel23/animesion

研究の動機と目的

• コンピューター・ビジョン分野におけるアニメキャラクター認識の分野で、大規模で多様性に富み、かつ長尾分布を示すデータセットが不足しているという問題に取り組むこと。
• ImageNetの事前学習分布とは著しく異なるドメインにおいて、Vision Transformers（ViT）の一般化性能およびトランスファー学習性能を調査すること。
• 画像サイズやバッチサイズといった異なるハイパーパramータを用いた状況下で、ViTとCNNベースのモデル（ResNet）をアニメ顔分類タスクにおいて比較すること。
• 研究の促進を目的として、コード、事前学習済みモデル、データセットを含むエンドツーエンドのフレームワーク「Animesion」を公開すること。

提案手法

• 元々のDanbooruAnimeFaces（DAF）データセットを改編し、約50万枚の画像と3,000クラスを有する、クラウドソーシングされた大規模で長尾分布のデータセット「DAF:re」を構築した。
• 公開ソースから画像を収集し、標準化された前処理を実施：160×160または256×256にリサイズし、128×128または224×224にランダムクロップし、データオーグメンテーションとしてランダムな水平反転を適用した。
• ImageNet事前学習有無を含めた複数のモデル（ResNet-18、ResNet-152、Vision Transformers（ViT-B/16、ViT-B/32、ViT-L/16、ViT-L/32））を訓練した。
• 勾配降下法にモーメンタムを適用（初期値：0.001、20エポックごとに1/3に減衰、全50エポック、または50エポックごとに減衰、全200エポック）。
• 推論時における正規化とオーグメンテーションなしで、検証およびテスト分割におけるトップ1およびトップ5の正確度を評価した。
• データセット、コード、事前学習済みモデル、およびAnimesionフレームワークを公開し、再現性および今後の研究を支援した。

実験結果

リサーチクエスチョン

• RQ1 異なる学習ハイパーパramータ設定下で、Vision Transformers（ViT）はResNetなどのCNNと比較して、アニメ顔認識タスクでどの程度の性能を示すか？
• RQ2 画像サイズ（128×128 対 224×224）およびバッチサイズ（64 対 1024）が、この下流タスクにおけるViTおよびResNetモデルの性能に及ぼす影響は何か？
• RQ3 ImageNet事前学習が、DAF:reのような長尾分布でスタイリッシュかつ描画された画像のデータセットに適用された場合、ViTおよびResNetモデルにどのような影響を与えるか？
• RQ4 ImageNetの事前学習とは著しく異なるドメイン（例：アニメ）に対して、ViTモデルは効果的に一般化できるか？
• RQ5 データセットが大規模かつ長尾分布を示す状況下で、ViTとCNNベースのモデルの間にはどのようなパフォーマンスのトレードオフが生じるか？

主な発見

• 小バッチ（64）および小サイズ画像（128×128）設定下では、ImageNet事前学習済みのViTモデルが、微調整されたResNet-18（61.20%）およびResNet-152（63.06%）を大きく上回り、moeImoutoデータセットでトップ1正確度92.80%を達成した。
• 大バッチ（1024）および大サイズ画像（224×224）設定下では、ResNet-18が68.30%のトップ1正確度を達成した一方、ViT-B/32は59.92%にとどまり、この条件下ではCNNが優勢であることが示された。
• ViT-L/16モデルは、64のバッチサイズと128×128の入力でDAF:reでトップ5正確度94.23%を達成し、好都合なハイパーパラメータ設定下での強力な一般化性能を示した。
• 事前学習がViTの性能を顕著に向上させた：ViT-B/16は事前学習ありでmoeImoutoでトップ1正確度91.57%を達成（なしでは67.28%）、同様の条件下でResNet-18も72.58%から61.20%に低下した。
• ViTとCNNの性能差はハイパーパラメータに極めて敏感である：バッチサイズが小さく、画像サイズが小さい場合にはViTがCNNを上回るが、逆にバッチサイズが大きく、画像サイズが大きい場合にはViTが劣る。
• 事前学習なしでも、ViT-B/16は64のバッチサイズと128×128の入力でDAF:reでトップ1正確度82.14%を達成した。これは、このドメインに対して強いインダクティブバイアスまたはモデル容量を有していることを示唆している。