[논문 리뷰] Photo-Guided Exploration of Volume Data Features

Mohammad Raji, Alok Hota외 3명|arXiv (Cornell University)|2017. 10. 18.

Computer Graphics and Visualization Techniques참고 문헌 21인용 수 3

한 줄 요약

이 논문은 목표 이미지(예: 허리케인의 위성 사진과 같은)와 일치시키기 위해 볼륨 렌더링 파라미터를 자동으로 발견하는 사진 유도형, 딥러닝 강화된 진화 최적화 방법을 제안한다. 이미지 유사도를 측정하기 위해 시아모이즈 신경망을 사용하고, 유전 알고리즘을 통해 전이 함수를 반복적으로 개선함으로써 초당 7분 이내에 초월성 시뮬레이션 데이터의 시각적으로 정확한 렌더링을 생성한다. 이는 수동 튜닝 없이 자동으로 시각적 특징을 탐색할 수 있도록 한다.

ABSTRACT

In this work, we pose the question of whether, by considering qualitative information such as a sample target image as input, one can produce a rendered image of scientific data that is similar to the target. The algorithm resulting from our research allows one to ask the question of whether features like those in the target image exists in a given dataset. In that way, our method is one of imagery query or reverse engineering, as opposed to manual parameter tweaking of the full visualization pipeline. For target images, we can use real-world photographs of physical phenomena. Our method leverages deep neural networks and evolutionary optimization. Using a trained similarity function that measures the difference between renderings of a phenomenon and real-world photographs, our method optimizes rendering parameters. We demonstrate the efficacy of our method using a superstorm simulation dataset and images found online. We also discuss a parallel implementation of our method, which was run on NCSA's Blue Waters.

연구 동기 및 목표

• 목표 사진을 입력으로 사용하여 과학적 볼륨 데이터셋에서 시각적 특징을 자동으로 탐색하는 것.
• 과학적 시각화 파이프라인에서 전문 지식과 수동 파라미터 튜닝에 대한 의존도를 줄이는 것.
• 실제 세계의 이미지(예: 허리케인)에 존재하는 특징이 시뮬레이션 데이터 내에 존재하는지 질의할 수 있도록 하는 것.
• 이미지 유사도 메트릭을 사용하여 렌더링 파라미터 최적화를 위한 확장 가능하고 재현 가능한 방법을 개발하는 것.
• 질적 입력을 통한 시각화 파라미터 역설계의 가능성을 입증하는 것.

제안 방법

• 렌더링된 볼륨 이미지와 목표 사진 간의 지각적 유사도를 계산하기 위해 시아모이즈 컨volutional 신경망을 훈련한다.
• 렌더링된 이미지와 목표 간의 딥 메트릭 손실을 최소화하기 위해 전이 함수 파라미터의 집단을 진화시키는 유전 알고리즘을 사용한다.
• 렌더링 설정의 집단에 교차 및 돌연변이 연산을 적용하여 고차원의 렌더링 파라미터 공간을 효율적으로 탐색하는 최적화 과정을 수행한다.
• 블루 워터스 슈퍼컴퓨터에서 병렬 컴퓨팅을 활용하여 가속화된 실행을 구현한다. 60개의 컴퓨팅 노드를 사용한다.
• 시각화 파이프라인은 VisIt의 파이썬 API를 통해 완전히 제어되어 재현 가능하며 기존 과학 워크플로우와의 통합을 보장한다.
• 원본 데이터는 그대로 유지하고 전이 함수만 수정함으로써 데이터 변경을 방지한다.

실험 결과

연구 질문

• RQ1 딥러닝 기반의 이미지 유사도 메트릭이 목표 사진을 향해 볼륨 렌더링 파라미터 최적화를 효과적으로 이끄는가?
• RQ2 유전 알고리즘이 고차원의 렌더링 파라미터 공간을 얼마나 효율적으로 탐색하여 시각적으로 유사한 결과를 찾을 수 있는가?
• RQ3 이 방법이 실제 관측 결과와 일치하는 과학적 시뮬레이션의 시각적 특징을 자동으로 식별하는 데 성공할 수 있는가?
• RQ4 인구 집단 초기화가 최적화 과정의 수렴 속도와 해의 품질에 어떤 영향을 미치는가?
• RQ5 렌더링 방법과 카메라 시점은 최종 출력 품질과 일관성에 어떤 영향을 미치는가?

주요 결과

• 시스템은 시뮬레이션 데이터와 목표 이미지만을 입력으로 사용하여 Google 이미지에서 확보한 목표 허리케인 사진과 시각적으로 일치하는 볼륨 렌더링 이미지를 성공적으로 생성했다.
• 인구 집단 초기화를 사용한 경우, 20세대 내에 최소 비용 0.012로 수렴하여 비초기화 실행보다 뚜렷이 우수한 성능을 보였다.
• 인구 집단 초기화 없이도 최고 비용은 0.02에 도달했으며, 이는 초기화가 수렴과 해의 품질을 향상시킨다는 것을 시사한다.
• 블루 워터스 슈퍼컴퓨터에서 60개의 컴퓨팅 노드를 사용해 6~7분 내로 최적화를 완료하여 확장성을 입증했다.
• 레이 캐스팅과 3D 텍스처링은 서로 다른 결과를 생성했으며, 이는 최적화와 최종 렌더링 간에 렌더링 방법이 일관성이 있어야 한다는 점을 보여준다.
• 이 방법은 원본 데이터를 수정하지 않고도 자동으로 재현 가능한 렌더링 파라미터 선택을 가능하게 하여 과학적 데이터셋에서의 시각적 검색을 지원한다.