[논문 리뷰] Additional Representations for Improving Synthetic Aperture Sonar Classification Using Convolutional Neural Networks

Isaac D. Gerg, David P. Williams|arXiv (Cornell University)|2018. 08. 08.

Underwater Acoustics Research참고 문헌 10인용 수 6

한 줄 요약

이 논문은 단일 레이어 복소수(SLC) 이미지의 위상에서 파생된 2D 전력스펙트럼밀도(PSD)와 사전 훈련된 ImageNet CNN의 미세조정을 활용하여 합성(aperture) 소나(SAS) 표적 분류 성능을 향상시키는 것을 제안한다. 여러 표현 방식을 융합했을 때 더 높은 AUC와 특성 공간 간 상호정보량이 증가함으로써 분류 성능 향상이 입증된다.

ABSTRACT

Object classification in synthetic aperture sonar (SAS) imagery is usually a data starved and class imbalanced problem. There are few objects of interest present among much benign seafloor. Despite these problems, current classification techniques discard a large portion of the collected SAS information. In particular, a beamformed SAS image, which we call a single-look complex (SLC) image, contains complex pixels composed of real and imaginary parts. For human consumption, the SLC is converted to a magnitude-phase representation and the phase information is discarded. Even more problematic, the magnitude information usually exhibits a large dynamic range (>80dB) and must be dynamic range compressed for human display. Often it is this dynamic range compressed representation, originally designed for human consumption, which is fed into a classifier. Consequently, the classification process is completely void of the phase information. In this work, we show improvements in classification performance using the phase information from the SLC as well as information from an alternate source: photographs. We perform statistical testing to demonstrate the validity of our results.

연구 동기 및 목표

• 대부분의 영상이 무해한 해저로 구성된 데이터 부족 및 클래스 불균형 문제를 해결한다.
• 특히 위상과 그 유도된 PSD를 포함한 미사용된 SLC 표현 방식이 분류기 성능 향상에 기여하는지 조사한다.
• SAS 강도 영상에 대해 사전 훈련된 오프더셔프 CNN(VGG-16)을 미세조정하여 전이 학습을 탐색한다.
• 다양한 입력이 학습된 표현 방식에 영향을 주는 방식과 모odal 간 상호보완성의 이해를 위해 내부 특성 표현을 분석한다.

제안 방법

• 동적 범위 압축 강도, 원본 위상, SLC의 2D 전력스펙트럼밀도(PSD)와 같은 여러 SAS 영상 표현 방식에 대해 스킵 연결과 ReLU 활성화 함수를 갖는 맞춤형 CNN 아키텍처를 훈련한다.
• 강도와 PSD를 위한 병렬 브랜치를 갖는 다중 입력 CNN 설계를 통해 최종 레이어 이전에 특성들을 연결함으로써 공동 학습을 가능하게 한다.
• 자연 사진에서 학습된 특성을 활용하기 위해 SAS 강도 영상에 대해 사전 훈련된 VGG-16 네트워크를 미세조정함으로써 전이 학습을 적용한다.
• 훈련의 확률적 성격을 고려하기 위해 AUC를 성능 평가 지표로 사용하고 통계적 유의성 검정을 실시한다.
• 레이블 정보 없이도 훈련된 특성 공간 활성화의 비지도 군집 패턴을 분석하기 위해 t-SNE 시각화를 수행한다.
• 다양한 입력 모odal 간 통계적 종속성을 측정하기 위해 내부 특성 표현 간 상호정보량(MI)을 측정한다.

실험 결과

연구 질문

• RQ1 복소수 SLC 이미지에서 유도된 표현, 특히 위상과 그 PSD는 강도만 사용하는 경우보다 SAS 분류 성능 향상에 기여하는가?
• RQ2 강도와 PSD와 같은 여러 표현 방식을 융합하면 분류기 성능 향상에 상호보완적 효과가 발생하는가?
• RQ3 자연 사진에서 사전 훈련된 오프더셔프 CNN이 SAS 표적 분류에 효과적으로 미세조정 가능한가?
• RQ4 훈련 시도 레이블이 없더라도 내부 특성 표현은 시도 기반으로 비지도 군집화 패턴을 보이는 의미 있는 구조를 가지는가?
• RQ5 다양한 입력을 동시에 훈련할 경우와 별도로 훈련할 경우 특성 공간 간 상호정보량(MI)은 어떻게 변화하는가?

주요 결과

• SLC 위상의 2D 전력스펙트럼밀도(PSD)를 통합함으로써 강도만 사용하는 경우보다 AUC가 유의미하게 향상되었으며, 이는 이전에 기각된 위상 정보의 유용성을 입증한다.
• 강도 + PSD 네트워크가 가장 높은 AUC를 기록했으며, 강도 전용 및 PSD 전용 기준 모델보다 통계적으로 유의미한 향상이 있었다.
• 다양한 표현 방식을 함께 훈련했을 때 특성 공간 간 상호정보량(MI)이 증가했으며, 특히 강도와 PSD 간의 상호보완성이 향상됨을 나타낸다.
• 비지도 t-SNE 시각화에서 강도 + PSD 네트워크에서는 훈련 시도 레이블 없이도 시도 이름 기반으로 특성 점들이 뚜렷하게 군집화되어 있음을 확인했다.
• CNN의 첫 번째 컨볼루션 필터는 인간이 이해할 수 있었으며, 입력 표현의 경계나 질감과 같은 물리적 특성에 민감함을 보였다.
• SAS 강도 영상에 대해 사전 훈련된 ImageNet VGG-16 네트워크를 미세조정함으로써 뛰어난 분류 성능를 달성했으며, 이는 SAS ATR에 대한 전이 학습의 타당성을 입증한다.