[논문 리뷰] Sea Ice Extraction via Remote Sensed Imagery: Algorithms, Datasets, Applications and Challenges

Anzhu Yu, Wenjun Huang외 6명|arXiv (Cornell University)|2023. 06. 01.

Arctic and Antarctic ice dynamicsEarth and Planetary Sciences인용 수 3

한 줄 요약

이 논문은 2016~2023년 동안 원격 감지 영상에서 딥 러닝 기반의 해빙 추출(SIE)에 대한 종합적인 리뷰를 제공하며, 알고리즘을 고전적 세그멘테이션, 머신 러닝, 딥 러닝 접근법으로 분류한다. SAR, 옵티컬, 하이브리드 데이터셋을 평가하고 기후 과학, 항해, 지리정보시스템(GIS) 분야의 응용을 서술하며, 대규모 모델 및 고도화된 극지역 투영 기법과 같은 주요 과제와 향후 방향성을 규명한다.

ABSTRACT

The deep learning, which is a dominating technique in artificial intelligence, has completely changed the image understanding over the past decade. As a consequence, the sea ice extraction (SIE) problem has reached a new era. We present a comprehensive review of four important aspects of SIE, including algorithms, datasets, applications, and the future trends. Our review focuses on researches published from 2016 to the present, with a specific focus on deep learning-based approaches in the last five years. We divided all relegated algorithms into 3 categories, including classical image segmentation approach, machine learning-based approach and deep learning-based methods. We reviewed the accessible ice datasets including SAR-based datasets, the optical-based datasets and others. The applications are presented in 4 aspects including climate research, navigation, geographic information systems (GIS) production and others. It also provides insightful observations and inspiring future research directions.

연구 동기 및 목표

• 2016년부터 2023년까지 원격 감지 영상 기반 해빙 추출(SIE)의 최근 발전을 체계적으로 리뷰하고 분류하는 것, 특히 딥 러닝 방법에 중점을 두고자 한다.
• SAR 기반, 옵티컬, 하이브리드 데이터셋을 포함한 해빙 분류 및 세그멘테이션을 위한 공개된 데이터셋을 수집하고 분석하고자 한다.
• SIE의 실용적 응용 분야인 기후 연구, 극지 항해, 지리정보시스템(GIS) 및 지ap도 제작에서의 활용을 검토하고자 한다.
• SIE에서 지속적인 기술적 과제, 즉 데이터 품질, 모델 일반화 능력, 극지역 투영 한계 등을 규명하고자 한다.
• 특히 대규모 모델, 동적 및 다차원 극지역 투영, 다스케일 지ap도 표현과 같은 향후 연구 방향을 제안하고자 한다.

제안 방법

• SIE 방법을 세 가지 그룹으로 분류한다: 고전적 영상 세그멘테이션, 머신 러닝 기반 접근법, 딥 러닝 기반 방법으로, 특히 딥 컨volution 네트워크를 활용한 의미 세그멘테이션에 중점을 둔다.
• SAR(예: RADARSAT, TerraSAR-X), 옵티컬(예: Sentinel-2, Landsat), 융합 데이터셋을 포함한 35개 이상의 공개된 데이터셋을 검토하고 통합하며, 해상도, 커버리지, 레이블 품질을 평가한다.
• SAR와 옵티컬 데이터의 융합을 통해 SIE 정확도를 향상시키는 방식을 분석하며, 옵티컬의 질감 정보와 SAR의 전천 후속성이라는 상호보완적 강점을 활용한다.
• 무인항공기(UAV) 및 빙산선에 장착된 항공 영상 자료를 고해상도 실시간 SIE에 특화된 지역에 대한 보조 데이터 소스로 활용하는 방식을 검토한다.
• 편평한 극지역 지도 제작을 위해 왜곡을 줄이고 웹 기반 지도 배포를 가능하게 하기 위해 비특이적 가우스 투영 및 웹 메르카토르 변환을 분석한다.
• 향후 방법론적 방향으로 머신 러닝 기반 투영 설계, 동적 및 다스케일 투영, 시간에 따라 변화하는 해빙 데이터의 다차원 시각화를 제안한다.

실험 결과

연구 질문

• RQ1 2016년부터 2023년까지 딥 러닝 기반 방법은 해빙 추출에서 어떻게 발전해왔으며, 고전적 및 머신 러닝 방법에 비해 어떤 주요 이점이 있는가?
• RQ2 공개된 SAR, 옵티컬, 하이브리드 원격 감지 데이터셋의 현재 한계와 강점은 무엇인가? 특히 SIE 작업에 있어.
• RQ3 SIE 방법은 기후 모델링, 극지 항해, GIS 제작 등의 후속 응용 분야에서 어떻게 기여하는가?
• RQ4 특히 투영 왜곡과 데이터 시각화 측면에서 극지역 지도 제작에서의 주요 과제는 무엇인가?
• RQ5 대규모 모델 및 동적·다차원 데이터 표현의 관점에서 SIE를 발전시키기 위해 가장 유망한 향후 연구 방향은 무엇인가?

주요 결과

• 딥 러닝 기반 의미 세그멘테이션은 해빙 추출에서 주요 기법으로 자리 잡았으며, 고전적 및 머신 러닝 방법에 비해 정확도와 강인성이 크게 향상되었다.
• SAR 기반 데이터셋은 미터 수준의 고해상도와 전천 후속성을 제공하여 세밀한 해빙 지도 제작에 이상적이나, 스펙클 노이즈와 복잡한 산란 특성으로 인해 문제를 야기한다.
• 옵티컬 및 적외선 원격 감지 영상은 질감과 반사율 정보를 유용하게 제공하지만, 극지의 일주기 주기 및 궤도 제약으로 인해 데이터 갭이 발생한다.
• 수동 마이크로파 원격 감지 영상은 전 세계 커버리지를 제공하지만,km 수준의 해상도를 지녀 세밀한 SIE 및 지도 제작에는 부적합하다.
• SAR와 옵티컬 데이터의 융합은 고해상도 구조 정보와 스펙트럼 반사율 데이터를 결합함으로써 SIE 성능을 향상시킨다.
• 기존의 표준 투영 방식은 극지역에서 심각한 왜곡을 야기하므로, 비특이적 가우스 투영 및 폴라리메트릭 투영이 극지역에 더 적합한 대안으로 제안된다.