[論文レビュー] Compact Circulant Layers with Spectral Priors

Joseph Margaryan, Thomas Hamelryck|arXiv (Cornell University)|Feb 25, 2026

Advanced Neural Network Applications被引用数 0

ひとこと要約

この論文は、実数/半スペクトルのFFTでパラメータ化されたコンパクトなスペクトル循環層およびBCCB層を導入し、正確なスペクトルノルム、単純なスペクトル事前分布、そして不確かさを意識したメモリ効率の良いモデルのための効率的な変分推論を可能にします。MNIST/Fashion-MNIST、CIFAR-10、ViT風アーキテクチャにおいて、パラメータ数を大幅に削減しつつ競争力のある性能を示し、Lipschitzベースの診断を提供します。

ABSTRACT

Critical applications in areas such as medicine, robotics and autonomous systems require compact (i.e., memory efficient), uncertainty-aware neural networks suitable for edge and other resource-constrained deployments. We study compact spectral circulant and block-circulant-with-circulant-blocks (BCCB) layers: FFT-diagonalizable circular convolutions whose weights live directly in the real FFT (RFFT) half (1D) or half-plane (2D). Parameterizing filters in the frequency domain lets us impose simple spectral structure, perform structured variational inference in a low-dimensional weight space, and calculate exact layer spectral norms, enabling inexpensive global Lipschitz bounds and margin-based robustness diagnostics. By placing independent complex Gaussians on the Hermitian support we obtain a discrete instance of the spectral representation of stationary kernels, inducing an exact stationary Gaussian-process prior over filters on the discrete circle/torus. We exploit this to define a practical spectral prior and a Hermitian-aware low-rank-plus-diagonal variational posterior in real coordinates. Empirically, spectral circulant/BCCB layers are effective compact building blocks in both (variational) Bayesian and point estimate regimes: compact Bayesian neural networks on MNIST->Fashion-MNIST, variational heads on frozen CIFAR-10 features, and deterministic ViT projections on CIFAR-10/Tiny ImageNet; spectral layers match strong baselines while using substantially fewer parameters and with tighter Lipschitz certificates.

研究の動機と目的

• FFT対角化可能な循環層およびブロック循環層（BCCB）を非冗長な実数-FFT係数でパラメータ化する。
• RFFTスペクトル上に離散スペクトルGP事前分布を導入し、離散フィルタ上の定常GP事前分布を誘導する。
• 実効的な実数座標系で閉形式KL項を伴うHermitian対応の低ランク-対-対角の変分後方分布を提供する。
• これらのスペクトル層の正確な層スペクトルノルムとLipschitz証明を導出し、診断と頑健性分析を可能にする。
• 標準ベンチマークで、ベイジアンおよび決定論的アーキテクチャに対してコンパクトなスペクトル層をドロップイン置換として評価する。

提案手法

• 非冗長な実数-FFT（RFFT）係数を直接用いて1D循環層および2D BCCB層をパラメータ化する。
• 前方伝搬時に完全スペクトルを再構成するため、半スペクトルのみを格納してHermitian対称性を課す。
• RFFT係数上にディ diagonal proper complex-Gaussianスペクトル事前を定義し、離散フィルタ上の定常GP事前を誘導する。
• 有効な実数座標系で閉形式KL項を伴うHermitian対応の低ランク-対-対角の変分後方分布を開発する。
• 周波数応答から正確な層スペクトルノルムを計算し、安価なLipschitz境界と診断を得る。
• スペクトル領域でモデル容量を制御するためにバンドリミットマスクとスペクトル減衰を使用する。

Figure 1 : Predictive-entropy KDEs for MNIST (ID; blue ) versus Fashion-MNIST (OOD; orange ), computed from the SVI posterior predictive. Left: Spectral BCCB (ours). Right: Conv2D baseline. In each image, the left panel shows the full entropy range and the right panel shows the same zoom window $H\i

実験結果

リサーチクエスチョン

• RQ1 スペクトル循環層/BCCB層はdenseベースラインと同等かそれを大きく下回るパラメータ数で達成できるか？
• RQ2 離散スペクトルGP事前は、コンパクトな層における不確実性推定、較正、頑健性にどのような影響を与えるか？
• RQ3 正確なスペクトルノルムは、実世界アーキテクチャにおけるこれらの層の実用的なLipschitz証明を可能にするか？
• RQ4 凍結エンコーダやViT風投影において、これらの層はベイズヘッドとして効果的に機能するか？
• RQ5 MNIST、Fashion-MNIST、CIFAR-10、Tiny ImageNetにおけるIDとOOD性能およびパラメータ効率の実測トレードオフはどうなるか？

主な発見

• Spectral circulant/BCCB層は、MNIST→Fashion-MNISTで dense ベースラインより7–72x少ないパラメータで競争的なID精度と較正を実現。
• スペクトル層は、凍結エンコーダを用いたCIFAR-10実験において、密なヘッドと比較してより厳密なLipschitz境界とより大きな認証半径を提供。
• ViT風投影では、スペクトル層が精度とNLLを改善しつつ投影層のパラメータを削減。
• 対角スペクトル事前は、 Hermitian-aware SVI の閉形式KL項を持つ離散フィルタ上の正確な定常ガウス過程事前を誘導。
• このアプローチはFFT対角化によりほとんど自由に層のスペクトルノルムと実用的なLipschitz診断を提供。

Figure 2 : Train and validation cross-entropy over epochs for dense vs spectral ViT on Tiny ImageNet. Vertical lines mark best-validation checkpoints.