[논문 리뷰] WTF? Discovering the Unexpected in next-generation radio continuum surveys

E. J. Crawford, R. P. Norris외 1명|arXiv (Cornell University)|2016. 11. 09.

Radio Astronomy Observations and Technology참고 문헌 1인용 수 4

한 줄 요약

이 논문은 다음 세대의 전기 연속 스펙트럼 조사인 EMU와 같은 대규모 전파 연속 스펙트럼 조사에서 뜻밖의 천체물리 현상을 사전에 탐지하기 위해 머신러닝과 클라우드 기반 데이터 챌린지 기반의 'WTF'(Widefield Outlier Finder) 프로젝트를 제안한다. 실제 및 시뮬레이션된 데이터에 '알'을 임베딩함으로써(유사한 발견의 개념으로서), 알고리즘의 이상치 탐지 능력을 테스트하며, 사전에 정의된 과학 목표를 초월한 새로운 천체 물체를 체계적으로 발견하는 것을 목표로 한다.

ABSTRACT

Most major discoveries in astronomy have come from unplanned discoveries made by surveying the Universe in a new way, rather than by testing a hypothesis or conducting an investigation with planned outcomes. Next generation radio continuum surveys such as the Evolutionary Map of the Universe (EMU: the radio continuum survey on the new Australian SKA Pathfinder telescope), will significantly expand the volume of observational phase space, so we can be reasonably confident that we will stumble across unexpected new phenomena or new types of object. However, the complexity of the instrument and the large data volumes mean that it may be non-trivial to identify them. On the other hand, if we don't, then we may be missing out on the most exciting science results from EMU. We have therefore started a project called "WTF", which explicitly aims to mine EMU data to discover unexpected science that is not part of our primary science goals, using a variety of machine-learning techniques and algorithms. Although targeted specifically at EMU, we expect this approach will have broad applicability to astronomical survey data.

연구 동기 및 목표

• 대규모 전파 연속 스펙트럼 조사, 예를 들어 EMU와 같이 사전에 정의된 과학 목표를 초월한 뜻밖의 천체물리 현상을 체계적으로 탐지하기 위한 접근법을 개발하기.
• 피타바이트 규모의 데이터셋에서 희귀하거나 이례적인 천체를 식별하는 데 있어 수작업 점검이 불가능한 상황에서의 과제를 해결하기.
• 아마존 웹 서비스(Amazon Web Services)를 활용해 클라우드 기반 플랫폼을 구축하여 데이터 챌린지를 주최하고 다양한 팀이 알고리즘을 테스트할 수 있도록 하기.
• 대규모 데이터 마이닝 프로젝트에서 국제 협업, 자원 배분, 발표 관리에 필요한 최선의 실천 방법을 수립하기.
• EMU의 곧 다가올 데이터 폭주에 대비해, 전체 조사 운영이 시작되기 전에 이상치 탐지 기법을 정교화하기.

제안 방법

• 프로젝트는 단계적 접근법을 사용한다: 먼저 AWS 기반의 확장 가능한 데이터 스토리지 및 계산 인fra를 설정한다.
• 가상의 새로운 천체물리 현상을 상징하는 시뮬레이션된 '알'이 실제 및 합성 전파 조사 데이터에 임베딩되며, 이는 이미지 및 다중 파장 연관 정보를 포함한 표 형태 데이터를 포함한다.
• 외부 팀이 사전 지식 없이 이러한 숨겨진 '알'을 탐지할 수 있도록 블라인드 데이터 챌린지를 시행한다.
• 클러스터링(k-means, DBSCAN), 차원 감소(t-SNE, 오토에인코더), 이상치 탐지 알고리즘을 포함한 다양한 머신러닝 기법을 적용한다.
• 결과를 해석하고 알고리즘 개선을 안내하기 위해 시각화 도구를 지원하며, 챌린지, 개발, 재테스트의 반복 주기를 통해 알고리즘을 개선한다.
• 프로젝트는 시뮬레이션된 데이터에서 시작하여 실제 ASKAP 초기 과학 데이터로 진화하고, 궁극적으로 전체 EMU 조사 데이터로 이어지며, 진정한 발견의 가능성을 높인다.

실험 결과

연구 질문

• RQ1 대규모 전파 연속 스펙트럼 조사에서 희귀하거나 이례적인 천체를 탐지하기 위해 머신러닝 기법을 어떻게 효과적으로 적용할 수 있는가?
• RQ2 다차원 데이터 공간에서 뜻밖의 천체물리 현상을 식별하기 위해 최적의 알고리즘 조합과 데이터 표현 방식은 무엇인가?
• RQ3 클라우드 호스팅된 데이터 챌린지를 통해 부분적으로 실제 데이터에 시뮬레이션된 발견이 임베딩된 상황에서도 새로운 천체를 성공적으로 식별할 수 있는가?
• RQ4 대규모 데이터 마이닝을 위한 확장 가능하고 유연하며 협업 가능한 연구 인fra를 어떻게 구축할 수 있는가?
• RQ5 데이터 집약적이고 발견 중심의 프로젝트에서 국제 협업, 자원 배분, 발표 관리에 필요한 최선의 실천 방법은 무엇인가?

주요 결과

• WTF 프로젝트는 AWS 기반의 클라우드 기반 협업 인프라를 성공적으로 구축하여 대규모 데이터 챌린지를 주최하고 확장 가능한 데이터 처리 및 알고리즘 테스트를 가능하게 하였다.
• 실제 및 시뮬레이션된 데이터에 시뮬레이션된 '알'을 사용한 초기 챌린지가 플랫폼 아키텍처의 타당성을 검증하였으며, 더 큰 사용자 기반으로의 확장성도 입증하였다.
• 프로젝트는 이미 실질적인 뜻밖의 발견 기회를 만들어내었으며, 특히 실질적인 ASKAP 데이터가 도입된 2단계 및 3단계에서 두드러졌다.
• 다양한 머신러닝 알고리즘은 데이터 유형과 이상치 특성에 따라 성능이 상이하게 나타나, 이상치 탐지에 있어 알고리즘의 다양성이 필요하다는 점을 시사한다.
• 챌린지, 알고리즘 개발, 개선의 반복 주기가 시간이 지남에 따라 탐지 능력을 향상시키는 데 효과적이라는 점이 입증되었다.
• 프로젝트는 2017년에 전체 EMU 데이터로 전환될 예정이며, 이는 기존에 알려지지 않은 천체물리 현상을 실제로 탐지할 가능성을 크게 높일 것이다.