[논문 리뷰] Closed Form for Some Gaussian Convolutions

Hossein Mobahi|arXiv (Cornell University)|2016. 02. 10.

Image and Object Detection Techniques참고 문헌 6인용 수 3

한 줄 요약

이 논문은 다변수 다항식과 가우시안 레이디얼 기저 함수(Gaussian radial basis functions)의 웨이어슈트라스 변환(Gaussian convolution)에 대해 닫힌 형태의 표현식을 유도한다. 다항식과 등방성 가우시안 커널의 컨볼루션은 헤르미트 다항식에 의해 결정되는 계수를 가진 다른 다항식이 되며, 가우시안 RBF와 가우시안 커널의 컨볼루션은 스케일링되고 더 넓어진 가우시안 RBF가 된다. 이러한 결과들은 스케일 스페이스 필터링, 특징 추출, 최적화와 같은 응용 분야에서 정확한 해석적 계산을 가능하게 한다.

ABSTRACT

The convolution of a function with an isotropic Gaussian appears in many contexts such as differential equations, computer vision, signal processing, and numerical optimization. Although this convolution does not always have a closed form expression, there are important family of functions for which closed form exists. This article investigates some of such cases.

연구 동기 및 목표

• 다변수 다항식과 가우시안 레이디얼 기저 함수의 웨이어슈트라스 변환에 대해 정확한 닫힌 형태의 표현식을 유도하는 것.
• 이미지 처리, 신호 필터링, 비볼록 최적화와 같은 응용에서 가우시안 스무딩이 필요한 경우 효율적인 계산을 위한 해석적 도구를 제공하는 것.
• 헤르미트 다항식과 컨볼루션 항등식을 활용하여 다양한 함수 클래스에 걸쳐 가우시안 컨볼루션을 통합적으로 다루는 것.
• 닫힌 형태가 존재하는 맥락에서 수치적 근사 대신 정확한 계산을 가능하게 하여 정확성과 효율성을 향상시키는 것.

제안 방법

• 등방성 가우시안 커널과 단항식의 컨볼루션을 표현하기 위해 헤르미트 다항식을 사용하며, 항등식 $ u(x,p,\tau) = (i\tau)^p h_p(x/(i\tau)) $ 를 활용한다. 여기서 $ h_p $ 는 $ p $-번째 헤르미트 다항식이다.
• 컨볼루션 정리와 델타 함수 및 가우시안의 성질을 적용하여 $ f(\boldsymbol{x}^T \boldsymbol{w}) $ 형태의 함수에 대해 닫힌 형태를 도출하며, 변환이 가중치 벡터의 노름에 의존함을 보인다.
• 가우시안 RBF $ e^{-\frac{\|\boldsymbol{x}-\boldsymbol{x}_j\|^2}{2\delta_j^2}} $ 와 커널 $ k_\sigma $ 의 컨볼루션을 유도하며, 결과적으로 분산 $ \delta_j^2 + \sigma^2 $ 를 가진 스케일링되고 더 넓어진 RBF가 된다.
• 항등식 $ [f(h(\cdot)) \star k_\sigma](\boldsymbol{w}) = \tilde{f}(\boldsymbol{w}^T \boldsymbol{x}; \sigma \|\boldsymbol{x}\|) $ 를 사용하여 결과를 선형 벡터 함수성에 일반화한다.
• 두 가우시안의 컨볼루션을 활용: $ k_{\delta}(at+b) \star k_{\sigma}(x-t) = k_{\sqrt{\delta^2 + a^2\sigma^2}}(at+b) $, 이는 선형 인자 경우의 유도를 뒷받침한다.
• 다항식 컨볼루션의 직접 계산을 가능하게 하기 위해 $ p = 0 $ 에서 $ 10 $ 까지의 $ u(x,p,\sigma) $ 의 명시적 표를 제공한다.

실험 결과

연구 질문

• RQ1 다변수 다항식의 웨이어슈트라스 변환은 닫힌 형태로 표현될 수 있는가? 만약 그렇다면 그 해석적 구조는 무엇인가?
• RQ2 등방성 가우시안 커널과의 컨볼루션에 대해 가우시안 레이디얼 기저 함수의 닫힌 형태 표현식은 무엇인가?
• RQ3 함수 $ f(\boldsymbol{x}^T \boldsymbol{w}) $ 와 가우시안 커널의 컨볼루션은 벡터 $ \boldsymbol{x} $ 의 노름에 어떻게 의존하는가?
• RQ4 사인 함수 $ \sin(x) $ 와余弦 함수 $ \cos(x) $ 와 같은 삼각함수의 가우시안 컨볼루션은 해석적으로 어떻게 표현되는가?
• RQ5 예를 들어 $ f(ax+b) $ 와 같은 선형 인자를 가진 함수의 컨볼루션은 가우시안 컨볼루션 항등식을 통해 어떻게 단순화될 수 있는가?

주요 결과

• 1D 가우시안 커널과 단항식 $ x_d^{p_{d,j}} $ 의 컨볼루션은 $ u(x_d, p_{d,j}, \sigma) = (i\sigma)^{p_{d,j}} h_{p_{d,j}}(x_d/(i\sigma)) $ 로 주어지며, 여기서 $ h_p $ 는 $ p $-번째 헤르미트 다항식이다.
• 다변수 다항식 $ f(\boldsymbol{x}) = \sum_j a_j \prod_d x_d^{p_{d,j}} $ 의 전체 컨볼루션은 $ [f \star k_\sigma](\boldsymbol{x}) = \sum_j a_j \prod_d u(x_d, p_{d,j}, \sigma) $ 로 주어지며, 이는 정확한 해석적 평가를 가능하게 한다.
• 가우시안 RBF $ e^{-\|\boldsymbol{x}-\boldsymbol{x}_j\|^2 / (2\delta_j^2)} $ 와 $ k_\sigma $ 의 컨볼루션 결과는 $ \left(\frac{\delta_j}{\sqrt{\delta_j^2 + \sigma^2}}\right)^n e^{-\|\boldsymbol{x}-\boldsymbol{x}_j\|^2 / (2(\delta_j^2 + \sigma^2))} $ 로, 스케일링되고 더 넓어진 RBF가 된다.
• $ f(\boldsymbol{x}^T \boldsymbol{w}) $ 와 $ k_\sigma $ 의 컨볼루션은 $ \tilde{f}(\boldsymbol{w}^T \boldsymbol{x}; \sigma \|\boldsymbol{x}\|) $ 로 주어지며, 이는 효과적인 스무딩 스케일이 가중치 벡터의 노름에 의존함을 보여준다.
• 사인 함수 $ \sin(x) $ 와余弦 함수 $ \cos(x) $ 와 같은 삼각함수의 경우, 컨볼루션 결과는 각각 $ e^{-\sigma^2/2} \sin(x) $ 와 $ e^{-\sigma^2/2} \cos(x) $ 로 주어지며, 고차수 삼각함수의 경우 더 복잡하지만 여전히 닫힌 형태의 표현식을 가진다.
• 함수 $ f(ax+b) $ 와 가우시안 커널의 컨볼루션 결과는 $ k_{\sqrt{\delta^2 + a^2\sigma^2}}(ax+b) $ 로 주어지며, 이는 인자에 대한 선형 변환이 커널 폭의 재스케일링을 유도함을 보여준다.