[논문 리뷰] Semantic and structural image segmentation for prosthetic vision

Melani Sanchez-Garcia, Rubén Martínez-Cantín외 1명|arXiv (Cornell University)|2018. 09. 25.

Neuroscience and Neural Engineering참고 문헌 31인용 수 3

한 줄 요약

이 논문은 실내 환경에서 구조적 에지와 객체 마스크를 추출하여 보철 시각의 성능을 향상시키는 이중 브랜치 CNN 프레임워크를 제안한다. 이로 인해 장면 인식 능력이 크게 향상된다. 정적 이미지와 영상에서 시뮬레이션된 보철 시각을 활용한 결과, 저해상도 인지인 페인프렌의 제약 조건 하에서 고수준의 의미론적 및 구조적 신호를 강조함으로써 사용자 인식 정확도가 약 75%에서 90%로 향상되었다.

ABSTRACT

Prosthetic vision is being applied to partially recover the retinal stimulation of visually impaired people. However, the phosphenic images produced by the implants have very limited information bandwidth due to the poor resolution and lack of color or contrast. The ability of object recognition and scene understanding in real environments is severely restricted for prosthetic users. Computer vision can play a key role to overcome the limitations and to optimize the visual information in the simulated prosthetic vision, improving the amount of information that is presented. We present a new approach to build a schematic representation of indoor environments for phosphene images. The proposed method combines a variety of convolutional neural networks for extracting and conveying relevant information about the scene such as structural informative edges of the environment and silhouettes of segmented objects. Experiments were conducted with normal sighted subjects with a Simulated Prosthetic Vision system. The results show good accuracy for object recognition and room identification tasks for indoor scenes using the proposed approach, compared to other image processing methods.

연구 동기 및 목표

• 인지인 페인프렌의 낮은 공간 해상도와 빛의 강도 해상도로 인해 정보 전달이 제한되는 문제를 해결한다.
• 저수준의 이미지 필터링을 넘어서 고수준의 시각 처리를 통합함으로써 시뮬레이션된 보철 시각에서 장면 인식을 향상시킨다.
• 구조적 에지 검출 및 객체 분할이 실내 환경에서 사용자 인식 향상에 기여하는지를 평가한다.
• 시뮬레이션된 보철 시각 환경에서 정적 이미지와 영상 시퀀스 간의 성능 차이를 평가한다.
• 나이 및 인식에 대한 자신감 수준이 페인프렌 표현을 사용한 장면 인식에 미치는 영향을 조사한다.

제안 방법

• 32×32(1024개의 페인프렌 포함)의 정육각형 페인프렌 격자 구조를 사용하여 망막 이식의 출력을 시뮬레이션하고, 인지적 현실감을 높이기 위해 가우시안 스무딩을 적용한다.
• 두 개의 병렬 컨볼루션 신경망(CNN)을 사용한다: 하나는 실내 환경의 구조적 에지를 검출하고, 다른 하나는 개별 객체 수준의 마스크 분할을 수행한다.
• 에지 및 객체 마스크 특징을 통합하여 주목할 만한 장면 기하학적 구조와 객체 정체성을 유지하는 개략도적 표현을 생성한다.
• 이중-CNN 출력을 기반으로 실시간 처리를 통해 영상 시퀀스에서 페인프렌 이미지와 영상을 생성한다.
• 공간 이해 및 장면 인식 향상을 위해 머리 움직임을 시뮬레이션하기 위해 순차적인 프레임을 제시한다.
• 사용자 평가를 위해 처리된 장면를 페인프렌 유사 자극으로 렌더링하는 데 사용되는 시뮬레이션된 보철 시각(SPV) 파이프라인을 구현한다.

실험 결과

연구 질문

• RQ1 구조적 에지 검출 및 객체 분할의 통합이 시뮬레이션된 보철 시각에서 장면 인식을 향상시킬 수 있는가?
• RQ2 페인프렌 제약 조건 하에서 영상 기반 제시 방식이 정적 이미지 대비 실내 환경 인식 향상에 얼마나 효과적인가?
• RQ3 저해상도 보철 시각에서 구조적 에지가 방 타입 분류에 얼마나 기여하는가?
• RQ4 제안된 방법의 성능은 나이 그룹이나 인식에 대한 자신감 수준에 따라 달라지는가?
• RQ5 고수준 의미론적 처리가 보철 시각 사용자에게 제공되는 정보 대역폭을 크게 증가시킬 수 있는가?

주요 결과

• 제안된 SIE-OM 방법(구조적 에지 + 객체 마스크)은 시뮬레이션된 보철 시각에서 기준 OM 방법 대비 장면 인식 정확도를 약 75%에서 90%로 향상시켰다.
• SIE-OM를 사용한 영상 시퀀스에서는 방 타입 분류 정확도가 정적 이미지 대비 79%로 향상되었으며, 이는 정적 이미지의 54%에 비해 높은 성능을 보였다.
• 영상 시청 시 사용자들이 더 높은 자신감(75% DY/PY 반응)을 보였으며, 이는 운동 신호를 통해 인지적 이해도 향상이 이루어졌음을 시사한다.
• 영상 기반 평가에서 일부 방 타입에 대해 100% 재현율과 정밀도를 달성하여, 복잡한 실내 환경에서도 뛰어난 강건성을 입증했다.
• 나이 범위(20–30세 대비 50–60세)는 인식 성능에 유의미한 영향을 미치지 않았지만, 정적 이미지에서는 고령자 그룹에서 더 낮은 자신감(25% DN)을 보였다.
• 식당과 거실, 침실과 거실 간의 혼동은 주로 공간 구조와 가구 배치의 유사성 때문이었으며, 이는 방법론적 실패가 아닌 것으로 판단되었다.