QUICK REVIEW

[논문 리뷰] Software Uncertainty in Integrated Environmental Modelling: the role of Semantics and Open Science

Daniele de Rigo|arXiv (Cornell University)|2013. 01. 01.

Scientific Computing and Data Management인용 수 6

한 줄 요약

이 논문은 복잡한 환경 모델링 코드의 오류에서 기인하는 소프트웨어 불확실성—즉, 통합 환경 평가의 신뢰성에 심각한 영향을 미치는 원인—을 제안한다. 특히 자유로운, 모듈화된, 의미론적으로 검증된 소프트웨어를 통해 의미론적 투명성과 오픈 사이언스 관행을 권장함으로써, 이 연구는 다학문적 환경 모델링에서 결과의 재현 가능성과 신뢰도를 향상시킬 수 있음을 보여준다.

ABSTRACT

de Rigo, D., 2013. Software Uncertainty in Integrated Environmental Modelling: the role of Semantics and Open Science. Geophysical Research Abstracts 15, 13292+. ISSN 1607-7962, European Geosciences Union (EGU). arXiv:1311.4762 This is the author's version of the work. The definitive version is published in the Vol. 15 of Geophysical Research Abstracts (ISSN 1607-7962) and presented at the European Geosciences Union (EGU) General Assembly 2013, Vienna, Austria, 07-12 April 2013 http://www.egu2013.eu/ Software Uncertainty in Integrated Environmental Modelling: the role of Semantics and Open Science Daniele de Rigo ¹ ² ¹ European Commission, Joint Research Centre, Institute for Environment and Sustainability, Via E. Fermi 2749, I-21027 Ispra (VA), Italy ² Politecnico di Milano, Dipartimento di Elettronica e Informazione, Via Ponzio 34/5, I-20133 Milano, Italy Excerpt: Computational aspects increasingly shape environmental sciences. Actually, transdisciplinary modelling of complex and uncertain environmental systems is challenging computational science (CS) and also the science-policy interface. Large spatial-scale problems falling within this category - i.e. wide-scale transdisciplinary modelling for environment (WSTMe) - often deal with factors (a) for which deep-uncertainty may prevent usual statistical analysis of modelled quantities and need different ways for providing policy-making with science-based support. Here, practical recommendations are proposed for tempering a peculiar - not infrequently underestimated - source of uncertainty. Software errors in complex WSTMe may subtly affect the outcomes with possible consequences even on collective environmental decision-making. Semantic transparency in CS and free software are discussed as possible mitigations. [...] References [1] Casagrandi, R., Guariso, G., 2009. Impact of ICT in environmental sciences: A citation analysis 1990-2007. Environmental Modelling & Software 24 (7), 865-871. DOI:10.1016/j.envsoft.2008.11.013 [2] de Rigo, D., (exp.) 2013. Behind the horizon of reproducible integrated environmental modelling at European scale: ethics and practice of scientiﬁc knowledge freedom. F1000 Research. Submitted [3] Gomes, C. P 2009. Computational sustainability: Computational methods for a sustainable environment, economy, and society. The Bridge 39 (4), 5-13. http://www.nae.edu/File.aspx?id=17673 [4] Easterbrook, S. M., Johns, T. C., 2009. Engineering the software for understanding climate change. Computing in Science & Engineering 11 (6), 65-74. DOI:10.1109/MCSE.2009.193 [5] Hamarat, C., Kwakkel, J. H., Pruyt, E., 2012. Adaptive robust design under deep uncertainty. Technological Forecasting and Social Change. DOI:10.1016/j.techfore.2012.10.004 [6] Bankes, S. C., 2002. Tools and techniques for developing policies for complex and uncertain systems. Proceedings of the National Academy of Sciences of the United States of America 99 (Suppl 3), 7263-7266. DOI:10.1073/pnas.092081399 [7] Kandlikar, M., Risbey, J., Dessai, S., 2005. Representing and communicating deep uncertainty in climate-change assessments. Comptes Rendus Geoscience 337 (4), 443-455. DOI:10.1016/j.crte.2004.10.010 [8] de Rigo, D., Corti, P Caudullo, G., McInerney, D., Di Leo, M., San-Miguel-Ayanz, J., 2013. Toward Open Science at the European scale: Geospatial Semantic Array Programming for Integrated Environmental Modelling. Geophysical Research Abstracts 15, 13245+ DOI:10.6084/m9.ﬁgshare.155703 [9] Rodriguez Aseretto, D., Di Leo, M., de Rigo, D., Corti, P., McInerney, D., Camia, A., San Miguel-Ayanz, J., 2013. Free and Open Source Software underpinning the European Forest Data Centre. Geophysical Research Abstracts 15, 12101+ DOI:10.6084/m9.ﬁgshare.155700 [10] de Rigo, D., Corti, P Caudullo, G., McInerney, D., Di Leo, M., San-Miguel-Ayanz, J., (exp.) 2013. Supporting Environmental Modelling and Science-Policy Interface at European Scale with Geospatial Semantic Array Programming. In prep. [11] Lempert, R. J., 2002. A new decision sciences for complex systems. Proceedings of the National Academy of Sciences of the United States of America 99 (Suppl 3), 7309-7313. DOI:10.1073/pnas.082081699 [12] Gober, P Kirkwood, C. W., 2010. Vulnerability assessment of climate-induced water shortage in Phoenix. Proceedings of the National Academy of Sciences 107 (50), 21295-21299. DOI:10.1073/pnas.0911113107 [13] de Rigo, D., 2012. Semantic Array Programming for Environmental Modelling: Application of the Mastrave library. In: Seppelt, R., Voinov, A. A., Lange, S., Bankamp, D. (Eds.), International Environmental Modelling and Software Society (iEMSs) 2012 International Congress on Environmental Modelling and Software. Managing Resources of a Limited Planet: Pathways and Visions under Uncertainty, Sixth Biennial Meeting. pp. 1167-1176. http://www.iemss.org/iemss2012/proceedings/D3_1_0715_deRigo.pdf [14] de Rigo, D., 2012. Semantic Array Programming with Mastrave - Introduction to Semantic Computational Modelling. http://mastrave.org/doc/MTV-1.012-1 [15] Free Software Foundation, 2012. What is free software? http://www.gnu.org/philosophy/free-sw.html (revision 1.118 archived at http://www.webcitation.org/6DXqCFAN3 ) [16] Stallman, R. M., 2009. Viewpoint: Why "open source" misses the point of free software. Communications of the ACM 52 (6), 31-33. DOI:10.1145/1516046.1516058 (free access version: http://www.gnu.org/philosophy/open-source-misses-the-point.html ) [17] de Rigo, D., 2012. Integrated Natural Resources Modelling and Management: minimal redeﬁnition of a known challenge for environmental modelling. Excerpt from the Call for a shared research agenda toward scientiﬁc knowledge freedom, Maieutike Research Initiative. http://www.citeulike.org/groupfunc/15400/home [18] Morin, A., Urban, J., Adams, P D., Foster, I., Sali, A., Baker, D., Sliz, P., 2012. Shining light into black boxes. Science 336 (6078), 159-160. DOI:10.1126/science.1218263 [19] Lempert, R., Schlesinger, M. E., 2001. Climate-change strategy needs to be robust. Nature 412 (6845), 375. DOI:10.1038/35086617 [20] Shell, K. M., 2012. Constraining cloud feedbacks. Science 338 (6108), 755-756. DOI:10.1126/science.1231083 [21] van der Sluijs, J. P 2012. Uncertainty and dissent in climate risk assessment: A Post-Normal perspective. Nature and Culture 7 (2), 174-195. DOI:10.3167/nc.2012.070204 [22] Lenton, T. M., Held, H., Kriegler, E., Hall, J. W., Lucht, W., Rahmstorf, S., Schellnhuber, H. J., 2008. Tipping elements in the earth’s climate system. Proceedings of the National Academy of Sciences 105 (6), 1786-1793. DOI:10.1073/pnas.0705414105 [23] Hastings, A., Wysham, D. B., 2010. Regime shifts in ecological systems can occur with no warning. Ecology Letters 13 (4), 464-472. DOI:10.1111/j.1461-0248.2010.01439.x [24] Barnosky, A. D., Hadly, E. A., Bascompte, J., Berlow, E. L., Brown, J. H., Fortelius, M., Getz, W. M., Harte, J., Hastings, A., Marquet, P A., Martinez, N. D., Mooers, A., Roopnarine, P., Vermeij, G., Williams, J. W., Gillespie, R., Kitzes, J., Marshall, C., Matzke, N., Mindell, D. P., Revilla, E., Smith, A. B., 2012. Approaching a state shift in earth’s biosphere. Nature 486 (7401), 52-58. DOI:10.1038/nature11018 [25] Milly, P C. D., Betancourt, J., Falkenmark, M., Hirsch, R. M., Kundzewicz, Z. W., Lettenmaier, D. P., Stouffer, R. J., 2008. Stationarity is dead: Whither water management? Science 319 (5863), 573-574. DOI:10.1126/science.1151915 [26] Sloan, S., Pelletier, J., 2012. How accurately may we project tropical forest-cover change? A validation of a forward-looking baseline for REDD. Global Environmental Change 22 (2), 440-453. DOI:10.1016/j.gloenvcha.2012.02.001 [27] Nabuurs, G. J., van Putten, B., Knippers, T. S., Mohren, G. M. J., 2008. Comparison of uncertainties in carbon sequestration estimates for a tropical and a temperate forest. Forest Ecology and Management 256 (3), 237-245. DOI:10.1016/j.foreco.2008.04.010 [28] Green, D. G., Sadedin, S., 2005. Interactions matter – complexity in landscapes and ecosystems. Ecological Complexity 2 (2), 117-130. DOI:10.1016/j.ecocom.2004.11.006 [29] Baker, R., Koch, F., Kriticos, D., Rafoss, T., Venette, R., van der Werf, W. (Eds.), 2012. Advancing risk assessment models for invasive alien species in the food chain: contending with climate change, economics and uncertainty. Bioforsk FOKUS 7. Bioforsk, Frederik A. Dahls vei 20, 1432 Ås, Norway. http://www.pestrisk.org/2012/BioforskFOKUS7-10_IPRMW-VI.pdf [30] de Rigo, D., Caudullo, G., San-Miguel-Ayanz, J., Stancanelli, G., 2012. Mapping European forest tree species distribution to support pest risk assessment. In: Baker, R., Koch, F., Kriticos, D., Rafoss, T., Venette, R., van der Werf, W. (Eds.), Advancing risk assessment models for invasive alien species in the food chain: contending with climate change, economics and uncertainty. Bioforsk FOKUS 7. Bioforsk, Frederik A. Dahls vei 20, 1432 ås, Norway. http://www.pestrisk.org/2012/BioforskFOKUS7-10_IPRMW-VI.pdf [31] Thompson, I., Mackey, B., McNulty, S., Mosseler, A., 2009. Forest resilience, biodiversity, and climate change: a synthesis of the biodiversity/resilience/stability relationship in forest ecosystems. Vol. 43 of Technical Series. Secretariat of the Convention on Biological Diversity. ISBN: 9292251376 [32] Center for International Forestry Research., FAO Regional Ofﬁce for Asia and the Paciﬁc, 2005. Forests and ﬂoods: drowning in ﬁction or thriving on facts? Center for International Forestry Research; Food and Agriculture Organization of the United Nations, Regional Ofﬁce for Asia and the Paciﬁc. http://www.worldcat.org/isbn/9793361646 [33]

연구 동기 및 목표

광역 다학문적 환경 모델링(WSTMe)에서 자주 간과되는 중요한 오류 원천으로서 소프트웨어 불확실성을 규명하는 것.
블랙박스 소프트웨어와 전용 코드에 의존함으로써 발생하는 투명성 부족과 재현 가능성 부족 문제를 해결하는 것.
소프트웨어 관련 불확실성을 줄이고 모델 신뢰도를 향상시키기 위해 오픈 사이언스와 의미론적 검증을 촉진하는 것.
자유로운, 모듈화된, 의미론적으로 강화된 소프트웨어가 환경 모델링 파이프라인에서 투명성과 정확성을 어떻게 향상시킬 수 있는지 보여주는 것.

제안 방법

이론적 D-TM(Y = f*(X))과 실제 D-TM(Y = fζ(X, θζ, ζ)) 사이의 공식적 구분을 제안하며, 여기서 ζ는 소프트웨어 불확실성을 나타낸다.
모달 논리(□)를 사용하여 입력, 출력 및 모델 동작에 대한 사전 및 사후 조건을 강제하는 의미론적으로 강화된 D-TM(Y = ::f(θ, X, ζ)::sem)를 도입한다.
중간 데이터 레이어와 소스 코드를 노출시켜 검증과 재현 가능성을 보장하는 모듈화된 자유 소프트웨어 아키텍처를 권장한다.
환경 모델링에서 코드의 가독성, 정확성, 감사 가능성을 향상시키기 위해 의미론적 어레이 프로그래밍(SemAP)과 지리공간 확장을 적용한다.
복잡하고 상호 연결된 모델링 체인 전반에서 모델 무결성을 보장하기 위해 의미론적 체크를 불변 조건(invariant)으로 통합할 것을 제안한다.
특히 소스 코드와 중간 출력에의 자유로운 접근을 통해 환경 과학 분야의 재현 가능한 연구를 지원하는 오픈 사이언스 원칙을 홍보한다.

실험 결과

연구 질문

RQ1복잡하고 상호 연결된 환경 모델링 체인을 통해 소프트웨어 불확실성이 어떻게 전파되고 정책 관련 결과에 영향을 미치는가?
RQ2의미론적 검증과 오픈 사이언스 관행이 통합 환경 모델링에서 소프트웨어 관련 불확실성을 어느 정도 줄일 수 있는가?
RQ3소프트웨어 투명성이 환경 모델의 재현 가능성과 신뢰도 향상에 어떤 역할을 하는가?
RQ4모듈화된, 자유로운, 의미론적으로 주석이 달린 소프트웨어는 환경 모델링 시스템의 감사 가능성과 정확성을 어떻게 향상시킬 수 있는가?

주요 결과

복잡한 환경 모델링 시스템에서의 소프트웨어 오류는 미묘하지만 상당한 정도로 모델 결과를 변화시켜 집단적 환경 의사결정에 위험을 초래할 수 있다.
모델 구성 요소에 의미론적 체크(□sem)를 사용하면 입력, 출력 및 내부 논리가 지정된 제약 조건을 충족함을 보장하여 감지되지 않은 오류의 위험을 줄일 수 있다.
모듈화된, 자유로운, 의미론적으로 강화된 소프트웨어를 통해 코드 검토뿐만 아니라 모델 동작의 이해와 수정이 가능해져 투명성이 향상된다.
결과가 발표되어도 소스 코드가 제공되지 않거나 의미론적으로 검증되지 않은 경우, 환경 모델링의 재현 가능성은 본질적으로 손상된다.
의미론적 어레이 프로그래밍(SemAP)은 투명하고 검증 가능하며 유지보수 가능한 환경 모델링 시스템을 구축하기 위한 실용적인 프레임워크를 제공한다.
블랙박스 모델에서 오픈형, 모듈화된, 의미론적으로 검증된 소프트웨어 체인으로의 전환은 환경 과학에서의 불확실성을 줄이고 신뢰도를 높이기 위해 필수적이다.

더 나은 연구,지금 바로 시작하세요

논문 읽기부터 검토까지, 연구 시간을 획기적으로 줄여보세요.

카드 등록 없음 · 무료 플랜 제공

이 리뷰는 AI가 만들고, 인간 에디터가 검토했습니다.