[논문 리뷰] Bessel Equivariant Networks for Inversion of Transmission Effects in Multi-Mode Optical Fibres

Joshua Mitton, Simon Peter Mekhail외 4명|arXiv (Cornell University)|2022. 07. 26.

Optical Coherence Tomography Applications인용 수 5

한 줄 요약

이 논문은 다중 모드 광섬유에서 전송 효과를 효율적으로 역으로 풀기 위해 원통형 조화 함수 기저를 활용하여 각도 방향 상관관계를 모델링하는 새로운 SO⁺(2,1)-동치 신경망인 베셀 동치 네트워크(Bessel Equivariant Networks, BEN)를 소개한다. 이 방법은 매개변수 스케일링을 O(N⁴)에서 O(m)으로 감소시켜 기존 선형 모델이나 CNN 기반 모델에 비해 더 뛰어난 일반화성과 확장성을 확보한 고해상도 256×256 이미지 복원을 가능하게 한다.

ABSTRACT

We develop a new type of model for solving the task of inverting the transmission effects of multi-mode optical fibres through the construction of an $\mathrm{SO}^{+}(2,1)$-equivariant neural network. This model takes advantage of the of the azimuthal correlations known to exist in fibre speckle patterns and naturally accounts for the difference in spatial arrangement between input and speckle patterns. In addition, we use a second post-processing network to remove circular artifacts, fill gaps, and sharpen the images, which is required due to the nature of optical fibre transmission. This two stage approach allows for the inspection of the predicted images produced by the more robust physically motivated equivariant model, which could be useful in a safety-critical application, or by the output of both models, which produces high quality images. Further, this model can scale to previously unachievable resolutions of imaging with multi-mode optical fibres and is demonstrated on $256 imes 256$ pixel images. This is a result of improving the trainable parameter requirement from $\mathcal{O}(N^4)$ to $\mathcal{O}(m)$, where $N$ is pixel size and $m$ is number of fibre modes. Finally, this model generalises to new images, outside of the set of training data classes, better than previous models.

연구 동기 및 목표

• 고해상도 영상 복원을 위해 다중 모드 광섬유에서 발생하는 복잡하고 국소적이지 않은 스펙클 패턴을 역으로 푸는 과제를 해결하기 위해.
• 섬유 전송의 물리적 대칭성을 존중하는 확장 가능한, 데이터 효율적인 딥 러닝 모델을 개발하기 위해.
• 학습 데이터 분포를 초월한 분포 외 이미지에 대한 일반화 성능을 향상시키기 위해.
• 밀도형 선형 모델의 O(N⁴) 매개변수 스케일링과 표준 CNN의 확장성 한계를 극복하기 위해.
• 단일 다중 모드 섬유를 사용한 실용적이고 안전성이 중요한 영상 응용 분야를 가능하게 하기 위해.

제안 방법

• 모델은 섬유 모드의 원통형 대칭성을 표현하기 위해 베셀 함수를 기저로 사용하는 SO⁺(2,1)-동치 레이어를 활용한다.
• 군 이론적 동치성에 기반하여 입력과 스펙클 패턴 간의 공간적 배열 차이를 자연스럽게 반영하는 표현을 구성한다.
• 섬유의 물리적 전송 행렬에서 유도된 21개의 라디얼 주파수와 1061개의 모드로 구성된 학습 기반 기저를 사용한다.
• 이중 단계 파이프라인을 사용한다: 첫 번째 단계에서 베셀 동치 모델이 굵은 복원을 예측하고, 두 번째 단계에서 후처리 네트워크가 출력을 정밀하게 다듬어 잡음과 왜곡을 줄이고 선명도를 향상시킨다.
• 모델의 매개변수 효율성은 전송 행렬의 구조를 조화 기저 분해를 통해 활용함으로써 유도되며, 학습 가능한 매개변수 수를 O(m)으로 줄인다. 여기서 m은 섬유 모드의 수이다.
• 기존 모델과 달리 특정 데이터 분포에 맞추기보다 물리적으로 탄탄한 대칭성을 학습함으로써 더 나은 일반화 성능을 달성한다.

실험 결과

연구 질문

• RQ1 베셀 함수를 기반으로 한 동치 신경망이 고해상도에서 다중 모드 광섬유의 전송 효과를 효과적으로 역으로 풀 수 있는가?
• RQ2 SO⁺(2,1)-동치 설계가 표준 CNN나 선형 모델에 비해 알려지지 않은 이미지 클래스에 대한 일반화 성능을 향상시키는가?
• RQ3 밀도형 선형 레이어 대비 조화 기저를 사용할 경우 매개변수 스케일링은 어느 정도 향상되는가?
• RQ4 스펙클 패턴 내 원형 상관관계를 명시적으로 모델링할 경우 복원 품질에 어떤 영향을 미치는가?
• RQ5 이중 단계 아키텍처(동치 모델 + 후처리)가 엔드 투 엔드 모델보다 더 높은 영상 정밀도를 달성할 수 있는가?

주요 결과

• 베셀 동치 네트워크는 기계 학습 접근법을 통해 스펙클 패턴에서 256×256 픽셀 이미지를 성공적으로 복원하였으며, 이는 이와 같은 결과를 처음으로 달성한 것이다.
• 모델은 매개변수 수를 O(N⁴)에서 O(m)으로 감소시켜 256×256 해상도에서 밀도형 선형 모델 대비 10배 감소한 매개변수 수를 확보하였다.
• 완전한 기저(21개의 라디얼 주파수)를 사용한 베셀 동치 모델은 fMNIST에서 테스트 손실 0.0139를 기록했으며, 후처리와 조합하면 0.0032로 향상되었다.
• 기저를 과소화할 경우(예: 라디얼 주파수를 4개로 줄임) 테스트 손실은 0.0296로 증가하여 충분한 기저 커버리지의 중요성을 확인하였다.
• 다양한 테스트 세트에서의 성능 향상으로 인해 기존 방법보다 분포 외 이미지에 대해 더 나은 일반화 성능을 보였다.
• 후처리 네트워크는 원형 잡음을 효과적으로 제거하고 간격을 메우며 영상의 선명도를 향상시켜 시각적 품질을 크게 향상시켰다.