[논문 리뷰] Learning Sparse High Dimensional Filters: Image Filtering, Dense CRFs and Bilateral Neural Networks

Varun Jampani, Martin Kiefel외 1명|arXiv (Cornell University)|2015. 03. 17.

Geophysical Methods and Applications참고 문헌 19인용 수 12

한 줄 요약

이 논문은 순열격자에서 경사하강법을 사용하여 이중 필터를 일반화하는 학습 가능한 희소 고차원 필터링 프레임워크를 제안한다. 고차원 특징 공간에서 필터 가중치를 매개변수화하고 엔드 투 엔드 학습을 가능하게 함으로써, 이미지 필터링, 밀도 높은 CRF, 합성곱 신경망에서 성능 향상을 이룩하였으며, 분할 및 분류 작업에서 실증적 성과를 거두었다.

ABSTRACT

Bilateral filters have wide spread use due to their edge-preserving properties. The common use case is to manually choose a parametric filter type, usually a Gaussian filter. In this paper, we will generalize the parametrization and in particular derive a gradient descent algorithm so the filter parameters can be learned from data. This derivation allows to learn high dimensional linear filters that operate in sparsely populated feature spaces. We build on the permutohedral lattice construction for efficient filtering. The ability to learn more general forms of high-dimensional filters can be used in several diverse applications. First, we demonstrate the use in applications where single filter applications are desired for runtime reasons. Further, we show how this algorithm can be used to learn the pairwise potentials in densely connected conditional random fields and apply these to different image segmentation tasks. Finally, we introduce layers of bilateral filters in CNNs and propose bilateral neural networks for the use of high-dimensional sparse data. This view provides new ways to encode model structure into network architectures. A diverse set of experiments empirically validates the usage of general forms of filters.

연구 동기 및 목표

• 이중 필터를 고정된 매개변수 형태인 가우시안과 같은 것들 외로 일반화하여 데이터 기반 필터 학습을 가능하게 하기 위해.
• 효율적인 순열격자 근사치를 활용하여 고차원 필터링의 계산적 과제를 해결하기 위해.
• 필터링 연산을 통해 역전파를 수행함으로써 딥 네트워크 내에서 엔드 투 엔드 학습을 가능하게 하기 위해.
• 이중 필터의 학습 가능성을 다양한 응용 분야에서 입증하기 위해: 이미지 필터링, 밀도 높은 CRF, 합성곱 신경망.
• 고차원 특징 공간의 희소성을 활용하여 계산 비용을 줄이면서도 에지 세부 정보를 유지하기 위해.

제안 방법

• 희소 특징 공간에서 고차원 컨볼루션을 효율적으로 근사하기 위해 순열격자 구조를 사용하기 위해.
• 기존의 격자 기반 필터링에서의 분리 가능한 가우시안 가정을 완화하여 필터 가중치의 자유 매개변수화를 허용하기 위해.
• 격자 기반 계산을 사용하여 필터 매개변수에 대한 필터링 연산의 미분 가능 기울기를 유도하기 위해.
• 데이터로부터 필터 가중치를 학습하기 위해 경사하강법을 적용하여 최종 작업에서 엔드 투 엔드 최적화를 가능하게 하기 위해.
• 학습된 이중 필터를 CNN 내의 레이어로 통합하여 희소 고차원 데이터를 위한 이중 합성곱 레이어(Bilateral Convolutional Layers, BCLs)를 도입하기 위해.
• 동일한 프레임워크를 사용하여 밀도 높은 CRF 내의 쌍별 잠재변수를 학습하여 분할 정확도를 향상시키기 위해.

실험 결과

연구 질문

• RQ1 이중 필터는 고정된 매개변수 형태인 가우시안 외로 일반화될 수 있을까? 이는 이미지 처리 작업에서 성능 향상에 기여할 수 있는가?
• RQ2 계산 효율성을 유지하면서도 고차원 필터를 경사하강법을 사용해 엔드 투 엔드로 훈련하는 것이 가능한가?
• RQ3 희소 데이터에 대해 학습된 이중 합성곱은 딥 네트워크 내에서 표준 공간 합성곱보다 어떻게 비교되는가?
• RQ4 학습된 필터는 이미지 분할을 위한 밀접하게 연결된 조건부 랜덤 필드에서 추론 성능을 향상시킬 수 있는가?
• RQ5 고차원 희소 특징 공간을 사용할 경우 모델 정확도와 훈련 효율성에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 문자 인식 작업에서 더 빠른 수렴과 더 높은 검증 정확도를 달성하였으며, BNN-DeepCNet은 표준 DeepCNet의 82.24% 대비 84.15%의 검증 정확도를 기록하였다.
• 이중 신경망(BNNs)은 테스트된 모든 아키텍처에서 공간 대비를 초월하여 성능을 냈으며, BNN-LeNet은 Crop-LeNet의 68.67% 대비 75.05%의 검증 정확도를 기록하였다.
• 이중 합성곱의 사용은 파라미터 수를 줄였다. 예를 들어, 7개의 파라미터를 가진 이중 필터는 3×3 또는 5×5 공간 필터를 대체할 수 있었으며, 성능을 유지하거나 향상시켰다.
• 밀도 높은 CRF 내에서 학습된 필터는 더 복잡하고 데이터 기반의 쌍별 잠재변수를 모델링함으로써 분할 결과를 향상시켰다.
• 희소 고차원 필터링 연산은 높은 차원으로도 효율적으로 확장 가능하며, 희소성을 활용하여 계산량을 문자 인식 작업에서 전체 점의 3%로 줄였다.
• 실증 결과는 이미지 필터링, CRF 추론, 딥 러닝 등 다양한 응용 분야에서 일관된 향상을 보였으며, 이는 프레임워크의 일반적 유용성을 입증한다.