[논문 리뷰] Edge-Aligned Initialization of Kernels for Steered Mixture-of-Experts

Martin Determann, Elvira Fleig|arXiv (Cornell University)|2026. 02. 02.

Medical Image Segmentation Techniques인용 수 0

한 줄 요약

결정론적이며 에지 기반의 SMoE 초기화를 도입합니다. 이 방법은 Canny 에지와 선분을 사용하여 커널을 등고선에 직교하게 배치하고, 최적화 시간을 줄이는 동시에 재구성 품질은 경쟁력을 유지합니다.

ABSTRACT

Steered Mixture-of-Experts (SMoE) has recently emerged as a powerful framework for spatial-domain image modeling, enabling high-fidelity image representation using a remarkably small number of parameters. Its ability to steer kernel-based experts toward structural image features has led to successful applications in image compression, denoising, super-resolution, and light field processing. However, practical adoption is hindered by the reliance on gradient-based optimization to estimate model parameters on a per-image basis - a process that is computationally intensive and difficult to scale. Initialization strategies for SMoE are an essential component that directly affects convergence and reconstruction quality. In this paper, we propose a novel, edge-based initialization scheme that achieves good reconstruction qualities while reducing the need for stochastic optimization significantly. Through a method that leverages Canny edge detection to extract a sparse set of image contours, kernel positions and orientations are deterministically inferred. A separate approach enables the direct estimation of initial expert coefficients. This initialization reduces both memory consumption and computational cost.

연구 동기 및 목표

• 이미지 구조를 활용하는 빠르고 확장 가능한 Steered Mixture of Experts(SMoE) 초기화를 제안한다.
• 에지 정보를 활용한 파이프라인을 제안하여 커널 위치와 초기 계수를 결정적으로 설정한다.
• 이후 그래디언트 기반 최적화 과정에서 메모리와 계산량을 감소시킨다.
• 재구성 정확도를 유지하면서 메모리 사용의 유연성을 위한 타일 기반 처리를 가능하게 한다.

제안 방법

• Canny 에지 검출을 사용하여 희소한 등고선 표현을 추출한다.
• 에지를 SMoE 커널에 정렬된 선분 표현으로 변환한다.
• 클러스터링과 점수화 체계를 통해 유의한 커널을 선택하기 위해 후보 세그먼트를 축소한다.
• segments에 직교하게 커널 평균을 배치하고 고정된 간격을 두며, 스티어링 매트릭스를 등방성으로 초기화한다.
• 커널 중심에서 이미지의 휘도 값을 샘플링하여 전문가 계수를 초기화하고, 경량의 오차 최소화 단계로 이를 정제한다.
• 원하면 이미지를 타일로 분할하고 타일별 SMoE를 학습한 후 전체 이미지 모델을 조합하고 미세 조정한다.

실험 결과

연구 질문

• RQ1 에지 기반의 결정론적 초기화가 격자 기반 초기화에 비해 수렴 속도를 향상시키는가?
• RQ2 제안된 초기화가 재구성 품질(PSNR/SSIM)에 대해 최신 SMoE 초기화와 비교했을 때 어떤 영향을 미치는가?
• RQ3 메모리 효율적인 타일 기반 처리를 가능하게 하면서도 경쟁력 있는 성능을 유지할 수 있는가?
• RQ4 클러스터링을 통한 커널 수 제어가 표현 충실도와 계산에 미치는 영향은 무엇인가?

주요 결과

• 에지 정보를 활용한 초기화는 공간적으로 적응적인 커널 배치를 만들어 균일한 격자보다 에지와 질감을 더 잘 보존한다.
• 이 방법은 기준 방법 대비 전체 수렴 시간을 상당히 단축한다.
• 재구성 품질(PSNR/SSIM)은 격자 기반 초기화와 경쟁적이며 비슷해지지만, 최고 S-SMoE 및 AS-SMoE 초기화보다는 약간 낮다.
• 클러스터링 기반 커널 선택은 커널 수를 안정화하고 타일링을 통한 유연한 메모리 사용을 가능하게 한다.
• 경량의 그래디언트 없는 전문가 계수 초기화는 설정 단계를 가속화하면서 이후의 그래디언트 기반 정제를 가능하게 한다.