[논문 리뷰] Yottixel -- An Image Search Engine for Large Archives of Histopathology Whole Slide Images

Shivam Kalra, Charles Q. Choi외 3명|arXiv (Cornell University)|2019. 11. 20.

AI in cancer detection참고 문헌 34인용 수 19

한 줄 요약

Yottixel는 UPMC와 TCGA의 데이터셋에서 인간 병리학자와 강한 의미적 일치를 보이며, 대규모 조직병리학 전체 슬라이드 이미지(WSI) 암시에 대해 실시간으로 이미지 검색을 수행할 수 있는 검색 엔진이다. 이는 WSI를 패치의 모자이크로 압축하여 표현하는 새로운 '바코드 뭉치(BoB)' 색인 방법을 활용한다. 이로 인해 수백만 장의 이미지를 고정밀도, 저저장 공간으로 검색할 수 있다.

ABSTRACT

With the emergence of digital pathology, searching for similar images in large archives has gained considerable attention. Image retrieval can provide pathologists with unprecedented access to the evidence embodied in already diagnosed and treated cases from the past. This paper proposes a search engine specialized for digital pathology, called Yottixel, a portmanteau for "one yotta pixel," alluding to the big-data nature of histopathology images. The most impressive characteristic of Yottixel is its ability to represent whole slide images (WSIs) in a compact manner. Yottixel can perform millions of searches in real-time with a high search accuracy and low storage profile. Yottixel uses an intelligent indexing algorithm capable of representing WSIs with a mosaic of patches by converting them into a small number of methodically extracted barcodes, called "Bunch of Barcodes" (BoB), the most prominent performance enabler of Yottixel. The performance of the prototype platform is qualitatively tested using 300 WSIs from the University of Pittsburgh Medical Center (UPMC) and 2,020 WSIs from The Cancer Genome Atlas Program (TCGA) provided by the National Cancer Institute. Both datasets amount to more than 4,000,000 patches of 1000x1000 pixels. We report three sets of experiments that show that Yottixel can accurately retrieve organs and malignancies, and its semantic ordering shows good agreement with the subjective evaluation of human observers.

연구 동기 및 목표

• 디지털 병리학에서 대규모 전체 슬라이드 이미지(WSI) 암시에서 효율적이고 정확한 이미지 검색을 해결하기 위해.
• 대규모 WSI 데이터베이스에 대해 높은 검색 정확도를 유지하면서 저장 및 계산 비용을 줄이기 위해.
• 페타바이트 규모의 병리학 이미지 컬렉션을 처리할 수 있는 확장 가능한 검색 엔진을 개발하기 위해.
• 진단 지원을 위해 과거에 진단 및 치료된 샘플들에서 유사 케이스를 병리학자가 검색할 수 있도록 하기 위해.

제안 방법

• Yottixel는 전체 슬라이드 이미지(WSI)를 각각의 이미지 패치로 나누어 표현하며, 각 패치는 압축된 바코드 표현으로 처리된다.
• 대표적인 특징을 WSI 패치에서 추출하여 저차원의 검색 가능한 형식으로 인코딩하기 위해 체계적인 '바코드 뭉치(BoB)' 기법을 사용한다.
• 수백만 장의 WSI에 걸쳐 빠른 유사도 검색을 가능하게 하는 지능적인 색인 알고리즘을 사용한다. 이로 인해 저장 공간의 과도한 부담을 최소화할 수 있다.
• BoB 표현은 기관 유형 및 악성도 분류에 관련된 의미적 및 형태적 특징을 유지하도록 설계되어 있다.
• BoB 임베딩 기반의 효율적인 근처 이웃 근사 검색을 활용하여, 대규모 WSI 컬렉션에서 실시간 쿼리를 지원한다.
• 프레임워크는 두 개의 대규모 데이터셋에서 평가되었으며, UPMC의 300장의 WSI와 TCGA의 2,020장의 WSI를 포함하여 총 400만 개 이상의 1000×1000 픽셀 패치를 포함한다.

실험 결과

연구 질문

• RQ1 확장 가능한 이미지 검색 엔진은 대규모 WSI 암시에서 낮은 저장 및 계산 비용을 유지하면서도 높은 정확도로 조직병리학 WSI를 검색할 수 있는가?
• RQ2 검색된 WSI의 의미적 순서는 병리학자가 주관적으로 평가한 유사성과 얼마나 잘 일치하는가?
• RQ3 '바코드 뭉치(BoB)' 표현 방식은 다양한 유형의 WSI에서 형태적 및 진단적 특징을 얼마나 잘 유지하는가?
• RQ4 시스템은 대규모 WSI 암시에서 수백만 개의 패치에 대해 실시간 검색을 지원할 수 있는가?
• RQ5 Yottixel의 성능은 기준 검색 방법에 비해 검색 정확도와 효율성 측면에서 어떻게 비교되는가?

주요 결과

• Yottixel는 UPMC와 TCGA의 다양한 조직병리학 WSI에서 기관 및 악성도를 높은 정확도로 식별하는 데 성공했다.
• 검색된 이미지의 의미적 순서는 인간 관찰자 평가와 강한 일치를 보였으며, 임상적으로 관련된 유사성을 나타냈다.
• 시스템은 대규모 데이터의 스케일에도 불구하고 실시간 성능을 보였으며, 수백만 건의 검색을 효율적으로 처리할 수 있었다.
• '바코드 뭉치(BoB)' 표현 방식은 낮은 저장 공간 부담을 유지하면서도 핵심 진단 특징을 유지할 수 있도록 허용했다.
• 프로토타입은 2,320장의 WSI에서 유도된 400만 개 이상의 패치를 대상으로 정성적 검증을 통해 확장성과 강건성을 확인했다.
• 이 방법은 WSI 데이터의 차원을 효과적으로 압축하면서도 높은 검색 정밀도를 유지하여, 빠르고 정확한 검색을 가능하게 했다.