[論文レビュー] Orthogonal Convolutional Neural Networks

Jiayun Wang, Yubei Chen+2 more|arXiv (Cornell University)|Nov 27, 2019

Advanced Neural Network Applications参考文献 57被引用数 7

ひとこと要約

本稿では、カーネルを二重ブロックトーペリッツ（DBT）行列表現を用いて畳み込み層に直交性を強制する、直交畳み込みニューラルネットワーク（OCNN）を提案する。これにより、単なるカーネルの直交性ではなく、真の直交畳み込みが保証される。この手法は、最小限の計算オーバーヘッドと追加パラメータなしに、画像分類、インpainting、耐性性能のタスクにおいて、訓練安定性、特徴多様性、性能の向上を実現する。

ABSTRACT

Deep convolutional neural networks are hindered by training instability and feature redundancy towards further performance improvement. A promising solution is to impose orthogonality on convolutional filters. We develop an efficient approach to impose filter orthogonality on a convolutional layer based on the doubly block-Toeplitz matrix representation of the convolutional kernel instead of using the common kernel orthogonality approach, which we show is only necessary but not sufficient for ensuring orthogonal convolutions. Our proposed orthogonal convolution requires no additional parameters and little computational overhead. This method consistently outperforms the kernel orthogonality alternative on a wide range of tasks such as image classification and inpainting under supervised, semi-supervised and unsupervised settings. Further, it learns more diverse and expressive features with better training stability, robustness, and generalization. Our code is publicly available at https://github.com/samaonline/Orthogonal-Convolutional-Neural-Networks.

研究の動機と目的

• 相関するフィルターや非一様なスペクトル応答が原因で生じる深層CNNの訓練不安定性と特徴の重複を解消すること。
• カーネルの直交性が直交畳み込みを達成するための必要条件ではあるが十分ではないという制限を克服すること。
• 畳み込み層を線形演算子としての真の直交性を強制する手法を開発し、スペクトルの一様性と特徴表現力の向上を図ること。
• 多様な視覚タスクにおいて、教師あり、半教師あり、教師なし学習の設定で一貫した性能向上を実証すること。
• 追加パラメータが不要で、訓練時の計算コストも最小限に抑えられる効率的な手法を確保すること。

提案手法

• 入力$X$を出力$Y$へ直接写像する線形変換として畳み込み層を表現し、二重ブロックトーペリッツ（DBT）行列$\mathcal{K}$を用いる。$Y = \mathcal{K}X$とすることで、入力および出力の構造を保持する。
• カーネルの自己相関行列$\text{Conv}(K,K)$が単位行列$I_r$に近づくように、$\|\text{Conv}(K,K) - I_r\|$の最小化により直交性を強制する。これにより、変換全体が直交的であることが保証される。
• DBT行列$\mathcal{K}$を直交性に近づけるために、微分可能な正則化損失項$\mathcal{L}_{\text{orth}} = \|\mathcal{K}\mathcal{K}^T - I\|_F^2$を導入する。
• ハイパーパramータ$\lambda$を用いて、主タスク損失と直交性正則化損失のバランスを調整するソフトな直交性制約を導入する。
• カーネル直交性手法で用いられるim2col変換を避けることで、入力-出力変換の直接的解析が可能になり、$Q$行列に起因するスペクトル歪みを回避する。
• パラメータ数と推論時間は標準CNNと同一であり、訓練時間はわずかに増加する（OCNNでは9%、カーネル直交ベースラインでは3%）。

実験結果

リサーチクエスチョン

• RQ1 カーネルの直交性が、畳み込み層が直交線形演算子として動作することを保証するのに十分か？
• RQ2 DBT行列による全畳み込み変換への直交性の強制は、より一様な特異値スペクトルと訓練安定性の向上をもたらすか？
• RQ3 OCNNは、標準的およびカーネル直交CNNと比較して、フィルターの相関と冗長性を低減し、より多様で表現力のある特徴を生成するか？
• RQ4 OCNNは、教師あり、半教師あり、教師なしの設定を含む多様な視覚タスクで一貫した性能向上を示すか？
• RQ5 直交性正則化強度とモデル性能の最適なトレードオフは何か？また、これにより訓練効率にどのような影響があるか？

主な発見

• OCNNは、標準的およびカーネル直交ベースラインと比較して、畳み込み層全体でより一様な特異値スペクトルを達成しており、長尾型スペクトルを示し勾配消失に陥りやすい傾向がある。
• フィルター類似度ヒストограмの結果、OCNNは特に深層部のフィルター間相関を顕著に低減しており、より多様で冗長性の低い特徴マップが得られている。
• CIFAR100では、標準ResNet18と比較して3%、カーネル直交ベースラインと比較しても3%のトップ-1精度向上を達成し、$\lambda = 0.1$で最高性能を示した。
• ImageNetでは、標準ResNet34と比較して1%の精度向上を達成し、教師あり画像分類において一貫した改善を示した。
• 半教師あり学習では、CIFAR100で3%の精度向上を達成し、限定的な監視下でも一般化性能と耐性が向上していることを示した。
• 無教師画像インpaintingではPSNRが4.3 dB向上し、画像生成ではFIDが1.3ポイント低下した。これにより、優れた特徴品質と生成忠実度が裏付けられた。