[논문 리뷰] Building Encoder and Decoder with Deep Neural Networks: On the Way to Reality

Minhoe Kim, Woongsup Lee외 2명|arXiv (Cornell University)|2018. 08. 07.

Wireless Signal Modulation Classification참고 문헌 13인용 수 11

한 줄 요약

이 논문은 도메인 지식 없이 실시간으로 유연하게 작동할 수 있도록 하는 DNN 기반 인코더 및 디코더 아키텍처를 제안한다. 하드웨어 기반 디지털 회로 구현을 통해 최적화된 DNN 설계(비트 폭, 은닉 노드 수, 층 수)가 하드웨어 유도 오차를 낮추면서도 강력한 BER 성능을 유지함으로써 실용적 구현 가능성을 입증한다.

ABSTRACT

Deep learning has been a groundbreaking technology in various fields as well as in communications systems. In spite of the notable advancements of deep neural network (DNN) based technologies in recent years, the high computational complexity has been a major obstacle to apply DNN in practical communications systems which require real-time operation. In this sense, challenges regarding practical implementation must be addressed before the proliferation of DNN-based intelligent communications becomes a reality. To the best of the authors' knowledge, for the first time, this article presents an efficient learning architecture and design strategies including link level verification through digital circuit implementations using hardware description language (HDL) to mitigate this challenge and to deduce feasibility and potential of DNN for communications systems. In particular, DNN is applied for an encoder and a decoder to enable flexible adaptation with respect to the system environments without needing any domain specific information. Extensive investigations and interdisciplinary design considerations including the DNN-based autoencoder structure, learning framework, and low-complexity digital circuit implementations for real-time operation are taken into account by the authors which ascertains the use of DNN-based communications in practice.

연구 동기 및 목표

• 실시간 통신 시스템에서 DNN의 높은 계산 복잡도를 해결한다.
• 하드웨어 수준의 설계 및 HDL 기반 구현을 통해 DNN 기반 통신의 실용적 타당성을 입증한다.
• 비트 폭, 은닉 노드 수, 층 수를 최적화하여 하드웨어 유도 오차를 최소화하면서도 BER 성능을 유지한다.
• 도메인 특화 엔지니어링 없이도 환경에 적응 가능한 민첩한 통신 시스템을 가능하게 한다.
• 시뮬레이션 기반 DNN 연구와 실제 하드웨어 구현 간 격차를 메운다.

제안 방법

• 모odulation 또는 채널 모델에 대한 사전 지식 없이도 통합 인코딩 및 디코딩을 수행할 수 있는 DNN 기반 오토인코더 아키텍처를 설계한다.
• 하드웨어 기술언어(HDL)를 사용하여 DNN를 하드웨어로 구현하여 실시간 디지털 회로 동작을 가능하게 한다.
• 핵심 설계 파rameter를 최적화한다: 데이터 비트 폭(8비트, 16비트, 24비트), 각 층의 은닉 노드 수, 은닉 층 수.
• 정밀도와 하드웨어 복잡도의 균형을 위해 부호 비트, 정수 비트 3개, 소수 비트를 포함한 고정점 산술을 사용한다.
• 시뮬레이션 및 HDL 기반 하드웨어 테스트를 통해 링크 수준 검증을 실시하여 소프트웨어 성능과 하드웨어 성능을 비교한다.
• 잔차 네트워크 원리를 적용하여 깊은 아키텍처에서 학습 안정성과 성능 향상을 도모한다.

실험 결과

연구 질문

• RQ1 HDL 기반 구현에서 데이터 비트 폭이 DNN 기반 인코더 및 디코더에서 소프트웨어 시뮬레이션과 하드웨어 출력 간 오차에 미치는 영향은 무엇인가?
• RQ2 DNN 층의 은닉 노드 수를 늘릴 경우 BER 성능과 하드웨어 구현 오차 사이의 상충 관계는 어떻게 되는가?
• RQ3 은닉 층 수가 DNN 기반 통신에서 BER 성능과 누적된 하드웨어 오차에 미치는 영향은 무엇인가?
• RQ4 HDL 기반 디지털 회로 구현을 통해 DNN 기반 인코더-디코더가 실시간 작동을 달성할 수 있는가?
• RQ5 성능을 훼손하지 않고 통신 시스템에 실용적으로 구현하기 위해 DNN 파rameter를 최적화하는 전략은 무엇인가?

주요 결과

• 8비트 데이터 폭을 사용할 경우 16비트 대비 루트 평균 제곱 오차(RMS 오차)가 100배 이상 증가하여 시스템 성능이 심각하게 악화된다.
• 24비트를 초과하여 비트 폭을 늘여도 RMS 오차 향상에 미미한 영향을 미쳐, 높은 정밀도에 대한 수익 감소 현상이 나타난다.
• 5층 DNN는 2층 DNN 대비 BER 성능을 10배 이상 향상시키지만, 오차 누적이 증가함에 따라 하드웨어 유도 오차도 증가한다.
• 은닉 노드 수를 늘릴수록 이론적 BER 성능은 향상되지만, 학습 난이도와 하드웨어 오차는 더 많은 오차 원인으로 인해 증가한다.
• 최적의 DNN 설계는 BER 성능과 구현 오차를 균형 잡고, 실용적 하드웨어 구현을 위해 과도한 깊이 또는 폭을 피한다.
• HDL 기반 구현은 파rameter를 철저히 조정할 경우 소프트웨어 시뮬레이션에 근접한 측정 가능한 성능을 확보함으로써 DNN 기반 통신의 실현 가능성을 확인한다.