[논문 리뷰] Deep Learning--Based Scene Simplification for Bionic Vision

Nicole Han, Sudhanshu Srivastava외 3명|arXiv (Cornell University)|2021. 01. 30.

Neuroscience and Neural Engineering참고 문헌 41인용 수 4

한 줄 요약

이 논문은 자연 풍경을 단순화된 표현으로 전처리하여 망막 식별 기반 보철성 시력의 성능을 햖थ기 위한 딥러닝 기반의 시점 단순화 프레임워크를 제안한다. 인공적이고 생물학적으로 타당한 인지 모델을 사용하여, 물체 분할이 시각적 주의나 깊이 기반 방법보다 가상 환자에서 시점 이해도를 크게 향상시키는 것으로 나타났으며, 인공적 시각의 인공적 빛점(프로톤) 크기와 기울기가 증가할수록 성능 저하가 발생한다.

ABSTRACT

Retinal degenerative diseases cause profound visual impairment in more than 10 million people worldwide, and retinal prostheses are being developed to restore vision to these individuals. Analogous to cochlear implants, these devices electrically stimulate surviving retinal cells to evoke visual percepts (phosphenes). However, the quality of current prosthetic vision is still rudimentary. Rather than aiming to restore "natural" vision, there is potential merit in borrowing state-of-the-art computer vision algorithms as image processing techniques to maximize the usefulness of prosthetic vision. Here we combine deep learning--based scene simplification strategies with a psychophysically validated computational model of the retina to generate realistic predictions of simulated prosthetic vision, and measure their ability to support scene understanding of sighted subjects (virtual patients) in a variety of outdoor scenarios. We show that object segmentation may better support scene understanding than models based on visual saliency and monocular depth estimation. In addition, we highlight the importance of basing theoretical predictions on biologically realistic models of phosphene shape. Overall, this work has the potential to drastically improve the utility of prosthetic vision for people blinded from retinal degenerative diseases.

연구 동기 및 목표

• 망막 퇠퇴성 질환을 앓는 환자들에게 보철성 시력의 유용성을 높이기 위해 컴퓨터 비전 알고리즘을 맹장 보철물의 전처리로 활용하는 것.
• 세분화, 시각적 주의, 단일 렌즈 깊이 추정과 같은 다양한 딥러닝 기반의 시점 단순화 전략이 시뮬레이션된 보철성 시력(SPV)에서 시점 이해도에 어떤 영향을 미치는지 평가하는 것.
• 심리물리적으로 검증된 신경생물학적으로 영감을 얻은 프로톤 형태 모델을 사용하여 현실적인 SPV 예측을 생성하고 더 정확한 성능 평가를 수행하는 것.
• 단순한 고립된 원형 프로톤을 가정하는 것에서 벗어나, 다양한 프로톤 크기와 형태에서의 인지 성능을 체계적으로 평가하는 것.
• 향후 실시간, 엣지 호환 가능한 이미지 처리 파이프라인을 개인 맞춤형 맹장 보철물 시스템에 맞추어 설계할 기초를 제공하는 것.

제안 방법

• 자연 외부 풍경을 전처리하기 위해 최신 딥러닝 모델을 사용하여 세분화, 시각적 주의, 단일 렌즈 깊이 추정을 수행한다.
• 심리물리적으로 검증된 맹장 보철물의 계산 모델(pulse2percept)을 사용하여 프로톤 형성의 시뮬레이션을 수행하며, 현실적인 공간 확산 및 형태 파rameters(반지름 ρ 및 기울기 λ)를 포함한다.
• 전처리된 이미지는 전극 격자 구성에 따라 세분화 또는 주목 영역을 프로톤 패턴으로 매핑하여 시뮬레이션된 보철성 시력(SPV) 출력으로 변환된다.
• 시력이 있는 참가자(가상 환자)를 대상으로 SPV 렌더링된 장면에서 사람과 차량을 이진 탐지 작업을 수행하는 사용자 연구를 실시한다.
• 성능는 민감도 지수 d′로 측정하며, 통계 분석을 통해 다양한 단순화 전략과 프로톤 파rameters의 영향을 비교한다.
• 전극 격자 크기(8×8, 16×16, 32×32)를 평가하여 공간 해상도가 인지 성능에 미치는 영향을 분석한다.

실험 결과

연구 질문

• RQ1 딥러닝 기반의 시점 단순화 전략은 기준 방법에 비해 시뮬레이션된 보철성 시력에서 시점 이해도를 향상시키는가?
• RQ2 세분화, 시각적 주의, 깊이 추정과 같은 다양한 시점 단순화 전략은 물체 탐지 작업에서 어떻게 비교되는가?
• RQ3 실제 프로톤 형태(크기 및 기울기)가 SPV에서 인지 성능에 어느 정도의 영향을 미치는가?
• RQ4 보철물 격자 내 전극 수를 늘리면 시점 이해도에 측정 가능한 향상이 발생하는가?
• RQ5 생물학적으로 현실적인 프로톤 모델링은 이상적인 원형 프로톤에 비해 SPV 예측의 타당성을 향상시키는가?

주요 결과

• 모든 조건에서 물체 분할 전략이 시각적 주의 및 깊이 기반 모델보다 유의미하게 뛰어난 성능을 보였으며, 높은 d′ 값을 기록하였다.
• 프로톤 크기(ρ)와 기울기(λ)가 증가할수록 성능이 저하되었으며, ρ = 500 μm 및 λ = 2.0일 때 가장 열악한 성능을 보였다.
• 크고 기울어진 프로톤 조건에서도 참가자들은 우연의 성능 이상(d′ > 0)을 기록하여, 모든 단순화 전략이 탐지 가능한 시각 인식을 가능하게 했다.
• 8×8에서 16×16 전극 격자로 전환하면 성능 향상이 있었지만, 32×32로 확대해도 유의미한 향상이 없었다.
• 실제 프로톤 형태 모델링이 필수적임을 확인하였으며, 고립된 원형 프로톤을 가정할 경우 과도하게 낙관적인 성능 예측로 이어질 수 있다.
• 결과적으로, 외부 환경 주행 작업에서 보철성 시력의 유용성을 향상시키기 위해 세분화 전처리가 가장 효과적인 전략임을 시사한다.