[論文レビュー] DISCO: accurate Discrete Scale Convolutions

Ivan Sosnovik, Artem Moskalev+1 more|arXiv (Cornell University)|Jun 4, 2021

Domain Adaptation and Few-Shot Learning被引用数 5

ひとこと要約

DISCOは、第一原理から最適なカーネル再スケーリング則を導出し、スケール等変性畳み込みニューラルネットワークにおける等変性誤差を最小化する、新しい離散的スケール畳み込み層を導入する。MNIST-ScaleおよびSTL-10において最先端の精度を達成し、シアンプルトラッカーでは推論速度を2倍に向上させ、精度と効率の両面で先行手法を上回る。スケール等変性カーネル設計の正確な解と近似解の両方を提供する。

ABSTRACT

Scale is often seen as a given, disturbing factor in many vision tasks. When doing so it is one of the factors why we need more data during learning. In recent work scale equivariance was added to convolutional neural networks. It was shown to be effective for a range of tasks. We aim for accurate scale-equivariant convolutional neural networks (SE-CNNs) applicable for problems where high granularity of scale and small kernel sizes are required. Current SE-CNNs rely on weight sharing and kernel rescaling, the latter of which is accurate for integer scales only. To reach accurate scale equivariance, we derive general constraints under which scale-convolution remains equivariant to discrete rescaling. We find the exact solution for all cases where it exists, and compute the approximation for the rest. The discrete scale-convolution pays off, as demonstrated in a new state-of-the-art classification on MNIST-scale and on STL-10 in the supervised learning setting. With the same SE scheme, we also improve the computational effort of a scale-equivariant Siamese tracker on OTB-13.

研究の動機と目的

• 既存のスケール等変性畳み込みニューラルネットワークにおける、不正確なカーネル再スケーリングに起因する等変性誤差を是正すること。
• 離散的再スケーリング下でもスケール等変性を維持するための正確な解と近似解を、スケール畳み込みカーネルに対して導出すること。
• 最小限の等変性誤差で高解像度のスケール解析を可能とし、視覚タスクにおけるデータ依存性を低減すること。
• 分類や視覚追跡などのスケールに敏感なタスクにおける計算効率とパフォーマンスを向上させること。
• 連続的再スケーリングおよび整数ダイレーティングに基づく手法を統合・拡張する一般化されたフレームワークを提供すること。

提案手法

• 群論とカーネル変換原理を用いて、離散的スケール畳み込みにおけるスケール等変性の一般的制約を導出する。
• 可能な限り等変性を保つ正確なカーネル再スケーリングを解き、正確解が存在しない場合には近似を計算する。
• スケール要因の離散的集合を用い、カーネル変換をカーネル基底上の線形演算として定式化する。
• 標準的なCNNアーキテクチャに導出されたカーネルを適用し、最小限のアーキテクチャ変更でエンドツーエンド学習を可能にする。
• 画像補間を教師信号として用い、スケールラベルが与えられていない状況でも、スケール対照学習を用いてスケール推定器を学習する。
• 特徴抽出器の再学習なしに、既存のSE-CNNにDISCO層を統合し、特にシアンプルトラッカーに適用する。

実験結果

リサーチクエスチョン

• RQ1 離散的スケール畳み込みにおける正確なスケール等変性を満たすために必要な十分条件は何か？
• RQ2 正確解が存在しない場合、スケール畳み込みにおける等変性誤差を最小化する方法は何か？
• RQ3 離散的スケール畳み込み層は、連続的再スケーリングおよび整数ダイレーティング手法を上回る精度と効率を達成できるか？
• RQ4 等変性誤差を低減させることで、分類や追跡などの下流タスクにおける性能がどの程度向上するか？
• RQ5 DISCOは、スケールアノテーションが一切ない自己教師付き設定でも、正確なスケール推定を可能にするか？

主な発見

• DISCOは、MNIST-Scaleデータセットにおいて99.78%という新しい最先端の精度を達成し、先行手法を上回った。
• STL-10データセットでは、教師あり学習で88.9%のトップ1精度を達成し、新たな最先端水準を樹立した。
• OTB-13におけるDISCOベースのシアンプルトラッカーは、SE-SiamFC+と同等の性能を示しながら、2倍の速度（100 FPS）で動作し、AUCが62.1%に達した。
• Hermite、Fourier、Radial、B-Splineに基づくSE-CNNと比較して、DISCOの等変性誤差は顕著に低く抑えられ、一般化性能が向上した。
• 提案手法は、有限スケール集合に対するすべての可能なSE-CNNをカバーし、Worrall & Welling (2019)およびSosnovik et al. (2019)の両手法を特別なケースとして包含した。
• DISCOを用いた自己教師付きスケール推定モデルは、未学習のシーンに対しても良好に一般化され、スケールアノテーションなしに自然画像から正確なスケールフィールドを予測できた。