[論文レビュー] Adaptive Fractional Dilated Convolution Network for Image Aesthetics Assessment

Qiuyu Chen, Wei Zhang+5 more|arXiv (Cornell University)|Apr 6, 2020

Visual Attention and Saliency Detection参考文献 32被引用数 12

ひとこと要約

本稿では、画像のアスペクト比をカーネルレベルで明示的にモデル化することで、画像の美的評価を向上させる、適応的分数畳み込み（AFDC）ネットワークを提案する。アスペクト比に応じて最近接整数畳み込みカーネル間を適応的に補間することで、構図を保持しつつ、追加パラメータを導入せずにミニバッチ学習を可能にし、AVAデータセットで83.24%の分類精度および0.271のMSEを達成し、最先端の性能を実現した。

ABSTRACT

To leverage deep learning for image aesthetics assessment, one critical but unsolved issue is how to seamlessly incorporate the information of image aspect ratios to learn more robust models. In this paper, an adaptive fractional dilated convolution (AFDC), which is aspect-ratio-embedded, composition-preserving and parameter-free, is developed to tackle this issue natively in convolutional kernel level. Specifically, the fractional dilated kernel is adaptively constructed according to the image aspect ratios, where the interpolation of nearest two integers dilated kernels is used to cope with the misalignment of fractional sampling. Moreover, we provide a concise formulation for mini-batch training and utilize a grouping strategy to reduce computational overhead. As a result, it can be easily implemented by common deep learning libraries and plugged into popular CNN architectures in a computation-efficient manner. Our experimental results demonstrate that our proposed method achieves state-of-the-art performance on image aesthetics assessment over the AVA dataset.

研究の動機と目的

• 深層学習に基づく画像の美的評価において、データ拡張の過程で画像のアスペクト比と構図を保持する課題に対処すること。
• 標準的なデータ拡張（例：クロッピング、変形）がアスペクト比を歪め、ラベルノイズを導入するという制限を克服すること。
• 美的評価が画像の構図に依存するという点を維持しつつ、ミニバッチ学習と互換性を持つ手法を開発すること。
• 追加のパラメータやアーキテクチャの変更なしに、既存のCNNアーキテクチャに即座に統合可能な手法を実現すること。
• 畳み込みカーネル設計にアスペクト比情報を直接埋め込むことで、画像の美的評価におけるモデルのロバスト性と性能を向上させること。

提案手法

• 入力画像のアスペクト比に応じて動的に畳み込みカーネルを構築する、適応的分数畳み込み（AFDC）を提案する。
• 最近接する2つの整数畳み込みカーネル間の線形補間を用いて分数畳み込みを計算し、サンプリングにおける不整合を回避する。
• バッチ処理中にアスペクト比を維持する構図保存型変形を適用することで、ミニバッチ学習に適した手法を定式化する。
• 推論および学習中の計算コストを低減するためのグループ化戦略を導入し、効率性を向上させる。
• 分数畳み込みレベル間でカーネル重みを共有することで、パラメータフリーを実現し、既存のネットワークへの容易な統合を可能にする。
• 補間と深度可分畳み込みなどの標準的な演算を用いて、標準的なディープラーニングフレームワーク（例：PyTorch、TensorFlow）でAFDCレイヤーを実装する。

実験結果

リサーチクエスチョン

• RQ1 アスペクト比の情報が畳み込みカーネルに効果的に埋め込まれるか、画像の美的評価の向上に寄与するか。
• RQ2 適応的分数畳み込みが画像の構図を保持し、データ拡張に起因するラベルノイズを低減するか。
• RQ3 パラメータフリーで適応的な畳み込みレイヤーが、標準的なディープラーニングパイプラインにおけるミニバッチ学習と互換性を持つか。
• RQ4 画像の美的評価ベンチマークにおいて、AFDCは既存手法と比較して性能と効率性に優れているか。
• RQ5 AFDCはアーキテクチャの変更や追加パラメータなしに、一般的なCNNアーキテクチャにスムーズに統合可能か。

主な発見

• 提案手法のAFDCは、AVAデータセットで83.24%の分類精度および0.271のMSEを達成し、先行する最先端手法を上回った。
• 4つの変形済みパッチ（サイズ224–320）を用いた場合、MSEが0.271にまで低下し、NIMA（MSE: 0.275）と比較して優れた回帰性能を示した。
• 単一の変形パッチを用いた場合でも分類精度が82.98%に達し、マルチパッチ集約なしでも優れた性能を示した。
• 分類精度においてMNA-CNN-Scene（76.5%）およびAMP（80.3%）を上回り、美的特徴の学習効果を確認した。
• MP-Net や A-Lamp がマルチパッチサンプリングと集約の複雑さを伴うのに対し、AFDCはそれらを回避しつつも83.24%の高い精度を維持した。
• AFDCは多様なアスペクト比を有するミニバッチ学習を可能にし、従来のアプローチが単一画像処理に限定されていたという主な制限を解決した。