[論文レビュー] Role of Orthogonality Constraints in Improving Properties of Deep Networks for Image Classification

Hongjun Choi, Anirudh Som+1 more|arXiv (Cornell University)|Sep 22, 2020

Advanced Neural Network Applications参考文献 24被引用数 5

ひとこと要約

本稿では、物理的要因に基づく単純な制約を用いて、深層ネットワークの特徴量の正規直交性を強制するOrthogonal Sphere (OS)正則化項を提案する。この手法は、特徴量の多様性、pruningに対する耐性、モデルのキャリブレーションを顕著に向上させ、計算コストの増加を最小限に抑えつつ、CIFAR10、CIFAR100、SVHN、tiny ImageNetにおいて、セマンティックロケーションと耐性の分野で最先端の性能を達成する。

ABSTRACT

Standard deep learning models that employ the categorical cross-entropy loss are known to perform well at image classification tasks. However, many standard models thus obtained often exhibit issues like feature redundancy, low interpretability, and poor calibration. A body of recent work has emerged that has tried addressing some of these challenges by proposing the use of new regularization functions in addition to the cross-entropy loss. In this paper, we present some surprising findings that emerge from exploring the role of simple orthogonality constraints as a means of imposing physics-motivated constraints common in imaging. We propose an Orthogonal Sphere (OS) regularizer that emerges from physics-based latent-representations under simplifying assumptions. Under further simplifying assumptions, the OS constraint can be written in closed-form as a simple orthonormality term and be used along with the cross-entropy loss function. The findings indicate that orthonormality loss function results in a) rich and diverse feature representations, b) robustness to feature sub-selection, c) better semantic localization in the class activation maps, and d) reduction in model calibration error. We demonstrate the effectiveness of the proposed OS regularization by providing quantitative and qualitative results on four benchmark datasets - CIFAR10, CIFAR100, SVHN and tiny ImageNet.

研究の動機と目的

• 交差エントロピー損失で訓練された標準的な深層ネットワークにおける特徴量の重複、解釈性の低さ、モデルのキャリブレーション不良を是正すること。
• 画像形成の物理的メカニズムにインspiredされた単純な直交性制約が、複雑な物理モデリングを伴わずに深層ネットワークの特性を改善できるかどうかを検討すること。
• 特徴量の相関性低減とモデルの耐性向上を図る、軽量で閉形式の正則化技術を開発すること。
• OS正則化項が特徴表現の質、pruningへの耐性、Grad-CAMによる解釈性に与える影響を評価すること。
• CIFAR10、CIFAR100、SVHN、tiny ImageNetを含む複数のベンチマークデータセットにわたる汎用性を実証すること。

提案手法

• 簡略化された仮定の下で物理的背景を持つ潜在表現から導出された、Orthogonal Sphere (OS)正則化項を提案し、正規直交性を保証する閉形式の制約を導出する。
• 最終畳み込み層の特徴マップにおける正規直交性からの逸脱をペナルティ化する微分可能な損失項としてOS正則化項を実装する。
• 標準的なカテゴリカル交差エントロピー損失と組み合わせ、精度と特徴量の相関性低減の両方を同時に最適化する学習プロトコルを採用する。
• 特徴マップのマグニチュードに基づくpruningを用いて耐性を評価し、9番目の層でマグニチュードが最も低い特徴マップを選別・削除する。
• Grad-CAM可視化を用いて、注目マップのセマンティックロケーション品質と解釈可能性を評価する。
• 5つの異なる乱数シードを用いて、4つのベンチマークデータセットで、正確性、キャリブレーション誤差、pruning耐性の指標を用いて性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 物理的要因に基づく正則化項を用いて深層特徴量の正規直交性を強制することで、特徴量の多様性が向上し、重複が低減するか？
• RQ2 OS正則化項は、特に高いスパarsity率において、特徴量のpruningに対するモデルの耐性を向上させるか？
• RQ3 OS正則化項は、Grad-CAM可視化におけるクラスアクティベーションマップのセマンティックロケーション品質をどの程度向上させるか？
• RQ4 標準的な交差エントロピー学習と比較して、OS正則化項はモデルのキャリブレーション誤差をどのように低減させるか？
• RQ5 OS正則化項は、アーキテクチャの変更なしに、多様な画像分類ベンチマークに効果的に適用可能か？

主な発見

• CIFAR10において、OS正則化項は、より深い層の特徴量間の相関を低減し、ペairwise類似度が20%低下した。
• 77%のpruning率において、OS正則化付きモデルは91.00%の正確性を維持した。これは、ベースライン（84.12%）および他のベースライン（AMC：15.92%）を顕著に上回った。
• OS正則化項はGrad-CAMのロケーション性能を向上させ、物体の注目をより集中させ、背景ノイズを低減した。これは、重度のpruning後でも同様に有効であった。
• この手法はモデルのキャリブレーション誤差を低減し、予測の正確性を損なわせることなく、より良い信頼度のキャリブレーションを実現した。
• CIFAR10において、22%のpruning率でOS正則化付きモデルは94.65%の正確性を達成した。これは、AMC（93.99%）およびSNTG（93.60%）を上回った。
• OS正則化項は、CIFAR10、CIFAR100、SVHN、tiny ImageNetの全テストデータセットで、強力な汎用性を示し、優れた耐性性能を発揮した。