[논문 리뷰] Transfer Learning for Neural Networks-based Equalizers in Coherent Optical Systems

Pedro J. Freire, Daniel Abode외 5명|arXiv (Cornell University)|2021. 04. 11.

Optical Network Technologies참고 문헌 54인용 수 59

한 줄 요약

이 논문은 공진동 광학 시스템에서 신경망 기반 등화기의 빠른 재구성 가능성을 위해 전이 학습(TL)을 제안한다. 이는 학습 시간과 데이터 요구량을 최대 99% 감소시킨다. 새로운 전송 조건(예: 다양한 송신 전력, 변조 방식, 심볼 속도, 또는 광섬유 유형)에 대해 사전에 훈련된 CNN+biLSTM 등화기를 미세조정함으로써, 다시 시작부터 훈련하는 것 없이도 신속한 적응이 가능하게 하여, 동적 광학 네트워크에서의 유연성과 실용성을 크게 향상시킨다.

ABSTRACT

In this work, we address the question of the adaptability of artificial neural networks (NNs) used for impairments mitigation in optical transmission systems. We demonstrate that by using well-developed techniques based on the concept of transfer learning, we can efficaciously retrain NN-based equalizers to adapt to the changes in the transmission system, using just a fraction (down to 1%) of the initial training data or epochs. We evaluate the capability of transfer learning to adapt the NN to changes in the launch power, modulation format, symbol rate, or even fiber plants (different fiber types and lengths). The numerical examples utilize the recently introduced NN equalizer consisting of a convolutional layer coupled with bi-directional long-short term memory (biLSTM) recurrent NN element. Our analysis focuses on long-haul coherent optical transmission systems for two types of fibers: the standard single-mode fiber (SSMF) and the TrueWave Classic (TWC) fiber. We underline the specific peculiarities that occur when transferring the learning in coherent optical communication systems and draw the limits for the transfer learning efficiency. Our results demonstrate the effectiveness of transfer learning for the fast adaptation of NN architectures to different transmission regimes and scenarios, paving the way for engineering flexible and universal solutions for nonlinearity mitigation.

연구 동기 및 목표

• 동적 광학 전송 시스템에서 신경망 기반 등화기의 적응성 부족 문제를 해결한다.
• 시스템 파rameter(예: 송신 전력, 변조 방식, 심볼 속도, 광섬유 유형)가 변경될 때마다 신경망 등화기를 다시 시작부터 훈련하는 데 있어 비현실적인 점을 극복한다.
• 전이 학습이 훈련 데이터와 에포크 수를 극적으로 줄이면서도 높은 등화 성능을 유지할 수 있음을 입증한다.
• 다양한 광학 전송 시나리오, 특히 광섬유 시설 변경 상황에서 전이 학습의 한계와 효능을 조사한다.
• 일반화 능력과 재구성 가능성을 향상시켜, 차세대 광학 네트워크를 위한 실용적이고 민첩하며 보편적인 비선형 등화 솔루션을 제공한다.

제안 방법

• 기본 설정(예: 34.4 GBd, 16-QAM, 5 dBm 송신 전력, SSMF 또는 TWC 광섬유)에서 사전 훈련된 CNN+biLSTM 신경망 등화기를 소스 모델로 사용한다.
• 새로운 전송 시나리오(예: 다른 송신 전력, 변조 방식, 심볼 속도, 또는 광섬유 유형)에 대응하는 더 작은 타겟 데이터셋에 대해 사전 훈련된 모델의 특정 레이어를 미세조정함으로써 전이 학습을 적용한다.
• 레이어를 선택적으로 동결하거나 미세조정함으로써 전이 과정을 최적화한다: 전력 및 변조 변경에는 합성곱 레이어, 심볼 속도 변경에는 biLSTM 레이어를 사용하여 메모리 크기를 조절한다.
• 예측된 기댓값 기반의 회귀 훈련 목표를 사용하여 복소수 기반의 기댓값 기반 예측을 최소화함으로써 평균 제곱오차를 최소화한다.
• 학습 효율성을 평가하기 위해, 동일한 Q-팩터 성능를 달성하기 위해 다시 시작부터 훈련하는 데 필요한 에포크 수와 데이터셋 크기와 비교한다.
• 다양한 소스 및 타겟 설정을 체계적으로 변화시켜 테스트 케이스를 구성하며, 광섬유 시설 교체(예: SSMF에서 TWC로, 또는 그 반대)를 포함하여 전이의 강건성을 평가한다.

실험 결과

연구 질문

• RQ1 전이 학습은 새로운 전송 조건에 적응하기 위해 사전 훈련된 신경망 등화기를 재구성할 때 필요한 학습 에포크 수와 데이터셋 크기를 얼마나 줄일 수 있는가?
• RQ2 예를 들어 고전력에서 저전력으로, 또는 저심볼 속도에서 고심볼 속도로의 전이 방향이 재훈련된 등화기의 성능과 수렴에 어떤 영향을 미치는가?
• RQ3 서로 다른 비선형성과 분산 특성을 지닌 기본적으로 다른 광섬유 유형 간(예: SSMF에서 TWC로) 지식을 전이할 때 전이 학습의 성능 한계는 무엇인가?
• RQ4 전력, 변조 방식, 심볼 속도, 광섬유 유형 등의 여러 시스템 파rameter가 동시에 변경될 경우 전이 학습이 높은 등화 성능을 유지할 수 있는가?
• RQ5 예를 들어 CNN+biLSTM와 같은 신경망 아키텍처 설계가 광학 등화 작업에서 전이 학습의 효과성에 어떤 영향을 미치는가?

주요 결과

• 송신 전력, 변조 방식, 또는 심볼 속도 변화에 적응할 때 전이 학습으로 인해 필요한 학습 에포크 수가 최대 99% 감소(예: 100에서 1로)하였다.
• 동일한 Q-팩터 성능를 유지하면서도 훈련 데이터셋 크기를 최대 99% 감소(예: 100%에서 1%로)시켜 높은 데이터 효율성을 입증하였다.
• 다른 광섬유 유형 간(예: 18×50 km SSMF에서 9×50 km TWC로) 전이할 경우, 전이 학습은 여전히 필요한 훈련 데이터셋 크기를 50% 감소시켰지만, 에포크 절감률은 10%로 낮아졌다.
• 가장 뛰어난 전이 성능는 TWC 광섬유에서 고전력에서 저전력으로의 전이(전력의 법칙)와 SSMF에서 저심볼 속도에서 고심볼 속도로의 전이(심볼 속도의 법칙)에서 달성되었으며, 이는 물리적 채널 특성이 전이 방향성에 영향을 준다는 것을 시사한다.
• 심볼 속도 변화의 경우, 합성곱 레이어를 동결하고 biLSTM 레이어만 재훈련함으로써 훈련 복잡도를 크게 감소시켰으며, 이는 아키텍처 인식 전이 학습 전략의 타당성을 확인한다.
• 가장 도전적인 케이스인 동일한 다른 파rameter를 유지하면서 광섬유 유형을 교체(예: SSMF에서 TWC로)한 경우에도 전이 학습은 데이터셋 크기를 50% 감소시켰으며, 이는 큰 채널 기능 차이가 있음에도 불구하고 강건함을 입증한다.