[논문 리뷰] Autoencoding sensory substitution

Viktor Tóth, Parkkonen, Lauri|arXiv (Cornell University)|2019. 01. 01.

Neural dynamics and brain function참고 문헌 162인용 수 9

한 줄 요약

이 논문은 시각적 이미지를 압축되고 지각적으로 최적화된 음향 풍경으로 변환하는 암묵적이고 딥러닝 기반의 감각 보상 시스템(AEV2A)을 제안한다. 이는 순환 변동형 오토인코더를 사용하여 훈련 시간을 크게 단축시킨다. 계산 기반 听각 모델과 시각적 표현의 제약을 통합함으로써, 몇 시간의 훈련 후에도 망각된 상태에서의 임의의 작업에서 우수한 성능을 달성하며, 시각 장애 환자의 신속한 재활을 위한 실현 가능한 길을 제시한다.

ABSTRACT

Tens of millions of people live blind, and their number is ever increasing. Visual-to-auditory sensory substitution (SS) encompasses a family of cheap, generic solutions to assist the visually impaired by conveying visual information through sound. The required SS training is lengthy: months of effort is necessary to reach a practical level of adaptation. There are two reasons for the tedious training process: the elongated substituting audio signal, and the disregard for the compressive characteristics of the human hearing system. To overcome these obstacles, we developed a novel class of SS methods, by training deep recurrent autoencoders for image-to-sound conversion. We successfully trained deep learning models on different datasets to execute visual-to-auditory stimulus conversion. By constraining the visual space, we demonstrated the viability of shortened substituting audio signals, while proposing mechanisms, such as the integration of computational hearing models, to optimally convey visual features in the substituting stimulus as perceptually discernible auditory components. We tested our approach in two separate cases. In the first experiment, the author went blindfolded for 5 days, while performing SS training on hand posture discrimination. The second experiment assessed the accuracy of reaching movements towards objects on a table. In both test cases, above-chance-level accuracy was attained after a few hours of training. Our novel SS architecture broadens the horizon of rehabilitation methods engineered for the visually impaired. Further improvements on the proposed model shall yield hastened rehabilitation of the blind and a wider adaptation of SS devices as a consequence.

연구 동기 및 목표

• 기존의 시각-청각 감각 보상(SS) 장치가 수개월이 걸릴 정도로 긴 훈련 기간이 요구되는 문제를 해결한다.
• 기존 SS 시스템의 한계인 장기적인 변환 지연과 인간 청각 인지와의 통합 부족 문제를 해결한다.
• 인간 听각 시스템의 압축 및 지각적 특성을 활용하는 암묵적이고 딥러닝 기반의 SS 방법을 개발한다.
• 단축된 지각적으로 최적화된 음성 신호가 시각 장애 환자에서의 빠른 적응을 가능하게 하는지 검증한다.
• 딥 오토인코더가 시각적 특징을 실용적 작업(예: 물체 식별, 공간 이동)을 지원할 수 있는 청각 표현으로 인코딩할 수 있는지 조사한다.

제안 방법

• 종료형 이미지-음향 번역을 수행하기 위해 장기적 단기 기억(LSTM) 유닛을 갖춘 깊이 있는 순환 변동형 오토인코더(변동형 오토인코더, VAE)를 설계한다.
• 수작업으로 설계된 사운드 합성기 구현을 통해 잠재 표현을 청각적 특성으로 매핑하며, 음량, 주파수 분포, 양안 위치 감지 등의 심리음향 제약 조건을 통합한다.
• 이명도 및 수준 차이(ITD/ILD)를 시뮬레이션하기 위해 이명도 노이징 유닛을 통합하여 공간 인식 능력을 향상시키고 인간 청각 처리 방식과 일치시킨다.
• 청각 스트림 분리 및 지각적 군집화를 시뮬레이션하기 위해 계산 기반 청각 모델(CARFAC 등)을 적용하여 복잡한 청각 자극의 구분 능력을 향상시킨다.
• 윤곽 추출 및 시각적 공간 추상화를 통해 이미지 입력을 저차원 잠재 표현으로 압축한 후 음향 합성에 활용한다.
• 원본 이미지와 합성된 음성에서 재구성된 이미지 간의 차이를 최소화하기 위해 재구성 손실을 사용하여 오토인코더를 훈련시킨다.

실험 결과

연구 질문

• RQ1 딥러닝 기반의 순환 오토인코더가 시각적 이미지를 시각이 없는 상황에서 신속한 학습을 가능하게 하는 지각적으로 의미 있는 청각 표현으로 매핑할 수 있는가?
• RQ2 인간 청각 시스템의 지각 제약 조건(예: 주파수 선택성, 음량 인지, 양안 위치 감지)을 딥러닝 기반 SS 시스템에 얼마나 잘 통합할 수 있으며, 이로 인해 성능 향상과 훈련 시간 단축이 이루어지는가?
• RQ3 암묵적이고 오토인코더 기반의 감각 보상이 단 몇 시간의 훈련 후에도 시각적 식별 및 공간 이동 작업에서 우연 이상의 성능을 달성할 수 있는가?
• RQ4 시각적 추상화(예: 윤곽 검출, 윤곽 추출)는 딥러닝 프레임워크 내에서 이미지-음향 변환의 효율성과 정확성에 어떤 영향을 미치는가?
• RQ5 계산 기반 청각 모델을 음향 합성 파이프라인에 통합하면 청각 특징의 구분 능력 향상과 지각적 모호성 감소에 기여하는가?

주요 결과

• AEV2A 모델은 망각된 상태에서 몇 시간의 훈련 후에도 손 자세 식별 작업에서 우연 이상의 성능을 달성하며, 빠른 지각 학습을 입증했다.
• 물체를 향해 손을 뻗는 작업에서, 참가자들은 최소한의 훈련 후 기준선 대비 유의미하게 높은 정확도를 보였으며, 이는 청각 신호에 공간적 물체 특성이 효과적으로 인코딩되었음을 시사한다.
• 이명도 노이징 유닛의 사용으로 중심 방향 각도 값을 선호하는 방식으로 공간 정위 감지 정확도가 향상되었으며, 인간 청각 인지의 한계와 일치했다.
• 계산 기반 청각 모델(CARFAC 등)의 통합으로 지각적 군집화 및 스트림 분리 능력이 향상되어, 복잡한 청각 자극에서의 모호성이 감소했다.
• 윤곽 검출 및 시각적 공간 추상화를 통한 시각적 추상화로 더 짧고 효율적인 음성 신호를 생성할 수 있었으며, 분류 정보 손실이 크지 않았다.
• 딥러닝 기반의 순환 VAE 아키텍처는 훈련 속도와 지각 정확도 측면에서 명시적 규칙 기반 SS 방법보다 뛰어나, 수개월이 아닌 수시간 내에 기능적 성능을 달성했다.